[論文レビュー] Semi-supervised Semantic Segmentation with Error Localization Network

Donghyeon Kwon, Suha Kwak|arXiv (Cornell University)|Apr 5, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本論文は、自己学習と対照的学習のフレームワークを用いて、不確実性の高いまたは誤った疑似ラベルをフィルタリングすることで、確認バイアスに対する耐性を高める半教師ありセマンティックセグメンテーションのための誤差局所化ネットワーク（ELN）を提案する。ELNは、補助デコーダーから得られる多様でシミュレートされた予測誤りを用いて訓練され、PASCAL VOC 2012 および Cityscapes で、それぞれ 1/20 および 1/8 のラベル付きデータ設定下で mIoU 84.55 および 82.17 の最先端性能を達成する。

ABSTRACT

This paper studies semi-supervised learning of semantic segmentation, which assumes that only a small portion of training images are labeled and the others remain unlabeled. The unlabeled images are usually assigned pseudo labels to be used in training, which however often causes the risk of performance degradation due to the confirmation bias towards errors on the pseudo labels. We present a novel method that resolves this chronic issue of pseudo labeling. At the heart of our method lies error localization network (ELN), an auxiliary module that takes an image and its segmentation prediction as input and identifies pixels whose pseudo labels are likely to be wrong. ELN enables semi-supervised learning to be robust against inaccurate pseudo labels by disregarding label noises during training and can be naturally integrated with self-training and contrastive learning. Moreover, we introduce a new learning strategy for ELN that simulates plausible and diverse segmentation errors during training of ELN to enhance its generalization. Our method is evaluated on PASCAL VOC 2012 and Cityscapes, where it outperforms all existing methods in every evaluation setting.

研究の動機と目的

• ラベルなしデータにおけるノイズの多い疑似ラベルによる確認バイアスに起因する半教師ありセマンティックセグメンテーションの性能低下を是正すること。
• 限定的なラベル付きデータでの過学習に起因する一般化性能の低さを抱える既存の誤差補正ネットワーク（ECN）の限界を克服すること。
• 誤差の補正ではなく誤差の局所化に焦点を当てることで、より頑健で一般化可能な疑似ラベル誤差の取り扱い方を確立すること。
• ELN の訓練中に多様で現実的なセグメンテーション誤りをシミュレートすることで、ELN の未観測ラベル付きデータへの一般化性能を向上させること。

提案手法

• 誤った疑似ラベルを持つ画素を同定する二値セグメンテーションヘッドである誤差局所化ネットワーク（ELN）を導入する。
• 主なセグメンテーションネットワークに接続された複数の補助デコーダーの予測を用いて ELN を訓練する。各デコーダーは異なる精度レベルで学習させ、訓練の各段階での誤りをシミュレートする。
• これらの補助デコーダーの予測を ELN の入力として用い、多様な妥当なセグメンテーション誤りを検出できるように学習させる。
• ELN を自己学習および対照的学習フレームワークに統合する：訓練中、ELN は高不確実性または誤った疑似ラベルをフィルタリングし、モデルの耐性を高める。
• 疑似ラベル生成の安定化のため、教師ネットワークに指数的移動平均（EMA）更新則を適用する。
• 学生ネットワークを、フィルタリングされた疑似ラベルにおける標準的な交差エントロピー損失と、学生・教師ネットワークの特徴を画素単位で一致させる対照的損失の組み合わせで最適化する。

実験結果

リサーチクエスチョン

• RQ1 専用の誤差局所化モジュールは、ノイズの多い疑似ラベルによる確認バイアスに対して半教師ありセマンティックセグメンテーションの耐性を向上させることができるか？
• RQ2 ELN の訓練中に多様で現実的な予測誤りをシミュレートすることで、未観測のラベルなしデータへの一般化性能が向上するか？
• RQ3 低ラベル設定下での性能および一般化性能において、ELN は既存の誤差補正ネットワーク（ECN）と比べて優れているか？
• RQ4 自己学習と対照的学習の両方と組み合わせた ELN が、モデルの精度および耐性に与える影響は何か？

主な発見

• 提案手法は、1/20 のラベル付きデータ設定下で PASCAL VOC 2012 で平均交差率（mIoU）84.55 を達成し、最先端性能を記録した。
• Cityscapes では、1/8 のラベル付きデータ設定下で mIoU 82.17 を達成し、すべての先行手法を上回った。
• アブレーションスタディの結果、補助デコーダーを2つ追加するだけで mIoU が 69.89 から 70.52 に向上し、シミュレート誤差の多様性の有効性が示された。
• 疑似ラベル損失と対照的損失の両方を組み合わせた場合、最高の性能（mIoU 71.13）が得られ、両トレーニング信号の相補的利点が確認された。
• ELN は誤った予測の影響を顕著に低減した：可視化結果では、白い誤差が除去されたフィルタリング済み予測は、元の疑似ラベルよりも著しく正確であることが示された。
• 手動で調整されたしきい値に依存するしきい値ベースの信頼度フィルタリングよりも、ELN はハイパーパramータに敏感でないエンドツーエンドの誤差検出を学習することで、性能が優れている。