[論文レビュー] Adaptive Affinity Loss and Erroneous Pseudo-Label Refinement for Weakly Supervised Semantic Segmentation

Xiangrong Zhang, Zelin Peng+5 more|arXiv (Cornell University)|Aug 3, 2021

Advanced Neural Network Applications参考文献 51被引用数 4

ひとこと要約

本論文は、動的ペアワイズピクセルアフィニティ学習のための適応的アフィニティ（AA）損失と誤った擬似ラベルを是正するためのラベル再割り当て（LR）損失を導入することで、性能を向上させる単一段階の弱教師ありセマンティックセグメンテーション手法を提案する。この手法は、PASCAL VOC 2012で最先端の結果を達成し、検証セットで63.9 mIoU、テストセットで64.8 mIoUを記録し、既存の単一段階手法を上回り、複数段階手法と同等の性能を達成した。

ABSTRACT

Semantic segmentation has been continuously investigated in the last ten years, and majority of the established technologies are based on supervised models. In recent years, image-level weakly supervised semantic segmentation (WSSS), including single- and multi-stage process, has attracted large attention due to data labeling efficiency. In this paper, we propose to embed affinity learning of multi-stage approaches in a single-stage model. To be specific, we introduce an adaptive affinity loss to thoroughly learn the local pairwise affinity. As such, a deep neural network is used to deliver comprehensive semantic information in the training phase, whilst improving the performance of the final prediction module. On the other hand, considering the existence of errors in the pseudo labels, we propose a novel label reassign loss to mitigate over-fitting. Extensive experiments are conducted on the PASCAL VOC 2012 dataset to evaluate the effectiveness of our proposed approach that outperforms other standard single-stage methods and achieves comparable performance against several multi-stage methods.

研究の動機と目的

• アフィニティ学習や誤り訂正といった複数段階手法の利点を統合することで、単一段階の弱教師ありセマンティックセグメンテーション（WSSS）の性能を向上させること。
• 単一段階手法がノイズや誤った擬似ラベルに起因する性能劣化を防ぐ限界を克服すること。
• 初期の擬似ラベルにおける誤検出の過学習を、エンドツーエンドのラベル精錬により低減すること。
• 画像レベルの教師信号のみを用いて、複数段階WSSS手法と同等の性能を達成すること。

提案手法

• 固定された信頼度要因に依存しない、学習可能で適応的な重みを用いることで、ペアワイズピクセル関係を計算する適応的アフィニティ（AA）損失を導入し、セマンティック伝搬を向上させる。
• 濃度パラメータγに基づいて特徴埋め込みを調整するラベル再割り当て（LR）損失を採用し、脆弱で誤りの可能性があるサンプルに注目する。
• 分類ブランチから得られる擬似マスクがセグメンテーションを教師する統合的エンドツーエンド学習フレームワークを採用し、訓練中にAAおよびLR損失を併用する。
• 深層ネットワークからの特徴埋め込みを活用して誤分類されたピクセルを特定・再割り当てし、ノイズの強い初期予測への過学習を低減する。
• AA損失を標準的な交差エントロピー損失と組み合わせ、セグメンテーションとアフィニティ学習を同時に最適化する。
• T-SNE可視化により、ラベル再割り当て後に特徴埋め込みのクラスタリングが明確になることを示し、より良いセマンティック分離が実現していることを確認する。

実験結果

リサーチクエスチョン

• RQ1 固定された信頼度重みに依存しない適応的アフィニティ学習は、単一段階WSSSにおけるセマンティック伝搬を向上させることができるか？
• RQ2 学習可能なラベル再割り当て機構は、画像レベルWSSSにおける誤った擬似ラベルへの過学習を低減できるか？
• RQ3 エンドツーエンドの擬似ラベル精錬により、単一段階モデルが複数段階WSSS手法と同等の性能を達成できるか？
• RQ4 LR損失における濃度パラメータγは、モデルのロバストネスおよびセグメンテーション精度にどのように影響するか？

主な発見

• 提案手法は、PASCAL VOC 2012の検証セットで63.9 mIoU、テストセットで64.8 mIoUを達成し、既存の単一段階手法を上回った。
• LR損失におけるγ = 2の設定では、訓練および検証セットでmIoUがそれぞれ0.7%向上し、脆弱なサンプルに注目することで有効性が示された。
• T-SNEによる可視化では、LR損失がセマンティックの混同を低減し、ラベル再割り当て後に特徴埋め込みのクラスタリングが明確になった。
• AA損失は、特に曖昧な領域においてセマンティック伝搬を顕著に向上させ、困難なサンプルのIoUが向上した。
• 単一段階フレームワークでありながら、MCIS や NSROM といった最先端の複数段階WSSS手法と同等の性能を達成した。
• アブレーションスタディにより、AAおよびLR損失が性能向上に独立的かつ相乗的に寄与していることが確認された。