[論文レビュー] Revisiting Weak-to-Strong Consistency in Semi-Supervised Semantic Segmentation

Lihe Yang, Lei Qi+3 more|arXiv (Cornell University)|Aug 21, 2022

Domain Adaptation and Few-Shot Learning被引用数 11

ひとこと要約

本論文では、共通の弱いビューに従って2つの独立した強いビューを生成する統一された二重ストリーム摂動フレームワークであるUniMatchを提案する。このフレームワークは、追加の特徴レベル摂動を導入することで、弱いビューから強いビューへの一貫性を向上させ、アーキテクチャの変更を最小限に抑えつつ、Pascal、Cityscapes、COCO、リモートセンシング、医療画像分野の複数のベンチマークで最先端の性能を達成した。

ABSTRACT

In this work, we revisit the weak-to-strong consistency framework, popularized by FixMatch from semi-supervised classification, where the prediction of a weakly perturbed image serves as supervision for its strongly perturbed version. Intriguingly, we observe that such a simple pipeline already achieves competitive results against recent advanced works, when transferred to our segmentation scenario. Its success heavily relies on the manual design of strong data augmentations, however, which may be limited and inadequate to explore a broader perturbation space. Motivated by this, we propose an auxiliary feature perturbation stream as a supplement, leading to an expanded perturbation space. On the other, to sufficiently probe original image-level augmentations, we present a dual-stream perturbation technique, enabling two strong views to be simultaneously guided by a common weak view. Consequently, our overall Unified Dual-Stream Perturbations approach (UniMatch) surpasses all existing methods significantly across all evaluation protocols on the Pascal, Cityscapes, and COCO benchmarks. Its superiority is also demonstrated in remote sensing interpretation and medical image analysis. We hope our reproduced FixMatch and our results can inspire more future works. Code and logs are available at https://github.com/LiheYoung/UniMatch.

研究の動機と目的

• 画像レベルの増幅を超えた摂動空間の拡張により、半教師ありセマンティックセグメンテーションにおける弱いビューから強いビューへの一貫性を向上させること。
• FixMatchにおける単一の強いビューの利用の限界を解消し、手動で設計された強い増幅を効果的に活用できるようにすること。
• 特徴レベルの摂動が画像レベルの強い増幅を代替または補完するのに有効であるかどうかを検証すること。
• 二重ストリーム摂動がモデルの汎化性能と一貫性を向上させる有効性を示すこと。
• FixMatchに改善された増幅設計を適用した強力で再現可能なベースラインを提供し、今後の研究を促進すること。

提案手法

• 画像レベルの強い増幅（例：CutMix、カラーチャンジ）と特徴レベルのチャネルドロップアウトを独立して適用することで、補完的な摂動ストリームを生成する統一された二重ストリーム摂動フレームワークを導入する。
• 2つの独立した強化された強いビューを、共有された弱いビューで監視することで、二重ストリームの一貫性学習を可能にし、モデルの頑健性を向上させる。
• 摂動空間を画像レベルの変換を超えて拡張するため、単純で汎用的な特徴レベル摂動としてチャネルドロップアウトを適用する。
• 信頼度のしきい値を用いて低品質な疑似ラベルをフィルタリングし、自己学習中の誤り蓄積を低減する。
• 2つの独立したチャネルドロップアウトを特徴に適用する二重ストリーム特徴レベル摂動のバリエーションを設計し、対照学習に類似した挙動を強化する。
• 強いビューの数と摂動ストリームの数に関する消去実験を実施し、2〜3つのビューで最適な性能が得られることを示した。

実験結果

リサーチクエスチョン

• RQ1 特徴レベルの摂動のみで、画像レベルの強い増幅と同等の性能を達成できるか？
• RQ2 二重ストリーム強いビュー監視は、単一の強いビュー学習と比較して、モデルの汎化性能をどのように向上させるか？
• RQ3 画像レベルの摂動空間を完全に調査するには、最適な強いビューの数は何か？（性能の低下を伴わずに）
• RQ4 補助的な特徴レベル摂動は、摂動空間を効果的に拡張し、一貫性を向上させることができるか？
• RQ5 本手法は、低ショットラベル設定下で、リモートセンシングや医療画像分野を含む多様なベンチマークで、どのように性能を発揮するか？

主な発見

• UniMatchはPascal、Cityscapes、COCOベンチマークで最先端の性能を達成し、すべての評価プロトコルで先行手法を上回った。
• Pascalで92枚のラベル付き画像を使用した場合、UniMatchは79.2%のmIoUを達成し、ベースラインのFixMatch（74.6%）やCutMixのみを用いた手法（78.3%）を顕著に上回った。
• 特徴レベルのチャネルドロップアウトのみで、画像レベルの強い増幅と同等の性能を達成でき、わずかな精度の低下しかなく、これが汎用的摂動としての有効性を裏付けた。
• 二重ストリーム強いビュー監視は、単一ビュー学習よりも性能を向上させ、複数の強いビューが一貫性と汎化性能を向上させることを実証した。
• 本手法は自然画像にとどまらず、リモートセンシングや医療画像分野のセグメンテーションでも優れた結果を示し、広範な適用可能性を示した。
• 消去実験の結果、2〜3つの強いビューが最適であることが判明。それ以上になると、訓練の難易度が上昇し、性能がわずかに低下した。