[論文レビュー] Robust Mutual Learning for Semi-supervised Semantic Segmentation

Pan Zhang, Bo Zhang+3 more|arXiv (Cornell University)|Jun 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 61被引用数 12

ひとこと要約

本論文は、平均教師による偽ラベル生成と内部特徴距離を用いた自己修正を導入することで、相互学習におけるモデル結合の問題を軽減する、ロバスト相互学習（RML）を提案する。RMLは、ラベル付きデータを元の1/30に制限したCityscapesで、前人最高の手法よりも3.45% mIoU高い性能を達成する。

ABSTRACT

Recent semi-supervised learning (SSL) methods are commonly based on pseudo labeling. Since the SSL performance is greatly influenced by the quality of pseudo labels, mutual learning has been proposed to effectively suppress the noises in the pseudo supervision. In this work, we propose robust mutual learning that improves the prior approach in two aspects. First, the vanilla mutual learners suffer from the coupling issue that models may converge to learn homogeneous knowledge. We resolve this issue by introducing mean teachers to generate mutual supervisions so that there is no direct interaction between the two students. We also show that strong data augmentations, model noises and heterogeneous network architectures are essential to alleviate the model coupling. Second, we notice that mutual learning fails to leverage the network's own ability for pseudo label refinement. Therefore, we introduce self-rectification that leverages the internal knowledge and explicitly rectifies the pseudo labels before the mutual teaching. Such self-rectification and mutual teaching collaboratively improve the pseudo label accuracy throughout the learning. The proposed robust mutual learning demonstrates state-of-the-art performance on semantic segmentation in low-data regime.

研究の動機と目的

• 相互学習におけるモデル結合の問題に対処すること。これは、学生ネットワークが同様の知識を学習し、共通の誤りを伝搬する傾向があるためである。
• ペアネットワークの知識に加え、モデル自身の内部知識を活用して、偽ラベルの品質を向上させること。
• ノイズを含む訓練と異種アーキテクチャを用いることで、外部の監視依存度を低減し、低データ環境における耐性を高めること。
• セマンティックセグメンテーションにおける半教師あり学習と完全教師あり学習の性能差を縮小すること。

提案手法

• 2段階の訓練スキームを導入：まず、学生モデル間の直接的相互作用なしに、平均教師を用いた間接的相互学習（IML）により偽ラベルを生成する。
• 強力なデータ拡張、モデルノイズ（例：ドロップアウト、確率的深さ）および異種ネットワークアーキテクチャ（例：CNNとトランスフォーマー）を用い、モデル結合を低減する。
• クラス重心への相対的特徴距離に基づくクラスごとの信頼度を計算することで、偽ラベルを自己修正する手法を提案する。
• 自己修正と相互教師学習を組み合わせ、訓練中に反復的に偽ラベルの正確性を向上させる。
• 一貫性正則化と自己修正のバランスを取る重み付き損失関数を用い、ハイパーパrameter λ がそのバランスを制御する。
• 2段階の訓練プロセスを採用：第1段階ではノイズとアーキテクチャの多様性を用いたIMLを実施し、第2段階では自己修正を含めた完全なRMLを適用する。

実験結果

リサーチクエスチョン

• RQ1 相互学習におけるモデル結合をどのように軽減すれば、両ネットワークが同一でノイズの多い知識を学習するのを防げるか？
• RQ2 ペアネットワークのフィードバックに頼るのではなく、モデルの内部知識を活用することで、偽ラベルの精練をどのように改善できるか？
• RQ3 強力なデータ拡張、モデルノイズ、異種アーキテクチャは、多様な知識の学習を促進するために果たす役割は何か？
• RQ4 特徴量からクラス重心までの距離に基づく自己修正は、半教師ありセマンティックセグメンテーションにおける偽ラベル品質をどの程度向上させるか？
• RQ5 提案されたロバスト相互学習フレームワークは、低データ環境下で既存の最先端手法と比較してどの程度優れているか？

主な発見

• Cityscapesでラベル付きデータを元の1/30に制限した状況でも、RMLは前人最高の手法よりも3.45%高いmIoUを達成し、極めて少ないデータ環境下での優れた性能を示している。
• ラベル付きデータを1/8に制限した場合、RMLはPASCAL VOC 2012で完全教師あり学習と同等の性能を達成し、データ効率の高さを示している。
• 2段階RMLフレームワークは、Cityscapesにおける教師ありベースラインに対して合計で7.62%のmIoU向上を達成しており、特に第2段階が性能向上に大きく寄与している。
• 相互学習における異種アーキテクチャ（Deeplabv2とSETR）は64.35%のmIoUを達成し、同じアーキテクチャでの相互学習（Deeplabv2-Deeplabv2で61.53%）を上回り、アーキテクチャの多様性の有効性を実証している。
• ハイパーパrameter λ に対してロバストで、λ の値が1e-5から1e-3の範囲でmIoUの変動が0.2%未満に抑えられており、感度が低く安定性が高いことが示された。
• 自己修正は偽ラベル品質を顕著に向上させ、図4の可視化結果から、RMLはMeanTeacherおよび直接的相互学習よりもクリアな偽ラベルを生成している。