[論文レビュー] AUGCO: Augmentation Consistency-guided Self-training for Source-free Domain Adaptive Semantic Segmentation

Viraj Prabhu, Shivam Khare+2 more|arXiv (Cornell University)|Jul 21, 2021

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

AUGCO は、空間的および色の変換における画素レベルの予測一貫性とクラス別信頼度を用いて信頼性の高い偽ラベルを選択することで、モデルのロバスト性を向上させる、セマンティックセグメンテーションのソースフリー領域適応手法である。1枚の画像に対して1回の順伝播とバッチ正規化パラメータの更新のみを用いて、GTA5→Cityscapes (+3.9 mIoU) および Cityscapes→Dark Zurich (+5.8 mIoU) のベンチマークで最先端の性能を達成している。

ABSTRACT

Most modern approaches for domain adaptive semantic segmentation rely on continued access to source data during adaptation, which may be infeasible due to computational or privacy constraints. We focus on source-free domain adaptation for semantic segmentation, wherein a source model must adapt itself to a new target domain given only unlabeled target data. We propose Augmentation Consistency-guided Self-training (AUGCO), a source-free adaptation algorithm that uses the model's pixel-level predictive consistency across diverse, automatically generated views of each target image along with model confidence to identify reliable pixel predictions, and selectively self-trains on those. AUGCO achieves state-of-the-art results for source-free adaptation on 3 standard benchmarks for semantic segmentation, all within a simple to implement and fast to converge method.

研究の動機と目的

• 適応段階でラベル付きソースデータが利用できないソースフリー領域適応におけるセマンティックセグメンテーションの課題に対処すること。
• すべてのモデル出力を学習対象とするのではなく、信頼性の高いピクセル予測を特定することで、自己学習における誤り蓄積を回避すること。
• 危険な忘れを回避し、ドメインシフト下でも性能を維持するシンプルで効率的な手法を開発すること。
• 多様な拡張処理における予測一貫性とクラス別信頼度閾値の両方を用いて、偽ラベルの信頼性を向上させること。
• 追加パラメータが不要で計算コストが最小限の軽量な1エポック内適応を可能にすること。

提案手法

• ランダムクロップ、リサイズ、カラーじゃんぷを用いて、スケール、文脈、外観を変化させる2つの多様なターゲット画像のビューを生成する。
• 両方のビューでモデルの予測を一致させ、同一の予測を持つピクセルを自己学習用の「信頼性が高い」とする。
• 信頼性の補完として、各カテゴリごとに上位Kパーセンタイルのピクセルを選択することでクラス別信頼度を活用する。
• 一貫性に基づくマスクを用いて、信頼性の低い予測をフィルタリングし、信頼性のある偽ラベルのみに限定して自己学習を適用する。
• タスクのずれを防ぎ、元のモデル容量を維持するため、バッチ正規化パラメータのみを更新する制約を課す（TENTに準拠）。
• 1枚の画像に対して1回の順伝播のみで学習を実行し、計算効率が高く、収束が速い。

実験結果

リサーチクエスチョン

• RQ1 多様な拡張処理における予測一貫性は、ソースフリー領域適応における正しいピクセルレベルの予測を信頼できる指標として機能するか？
• RQ2 拡張処理の一貫性とクラス別信頼度を組み合わせることで、単独で用いる場合と比較して自己学習の性能がどのように向上するか？
• RQ3 一貫性と信頼度に基づく選択的自己学習戦略は、誤り蓄積を防ぐために、制約のない自己学習を上回るか？
• RQ4 本手法は、GTA5→Cityscapes や Cityscapes→Dark Zurich などの異なるドメインシフトのシナリオにどの程度一般化可能か？
• RQ5 ソースデータや追加パラメータが利用不可な状況下でも、軽量で1エポック内適応が可能な手法が最先端の結果を達成できるか？

主な発見

• AUGCO は、GTA5→Cityscapes で +3.9 mIoU、Cityscapes→Dark Zurich で +5.8 mIoU の向上を達成し、新たな最先端性能を樹立した。
• 信頼性が高いとマークされた偽ラベルのうち86.2%が正しく特定された一方、信頼性が低いとマークされたものはたった19.1%にとどまった。
• 空間的およびピクセルレベルの両方の拡張処理を用いた一貫性測定が、最高の mIoU（47.1）を達成しており、両者の補完的役割が明確に示された。
• 5エポック後に 45.48 mIoU でピークに達し、以降も安定したまま維持されたことから、収束性と訓練の安定性が確認された。
• 1回のターゲットデータ走査内での最適性能が達成されたことから、計算効率が非常に高いことが示された。
• カテゴリ別信頼性精度と最終 mIoU の間に強いピアソン相関（0.88）が観察されたことから、信頼性が適応成功の強力な予測要因であることが示された。