[論文レビュー] Refign: Align and Refine for Adaptation of Semantic Segmentation to Adverse Conditions

David Brüggemann, Christos Sakaridis+2 more|arXiv (Cornell University)|Jul 14, 2022

Domain Adaptation and Few-Shot Learning被引用数 10

ひとこと要約

Refign は、自己学習ベースの自己教師付き領域適応（UDA）におけるセマンティックセグメンテーションの新たなプラグアンドプレイ拡張で、同じシーンの異なる条件（例：昼間と夜間）の画像ペアを活用することで、悪質な視覚的条件下でも性能を向上させる。まず、不確実性を考慮した密度マッピングネットワーク（UAWarpC）を用いて、通常条件の参照予測をターゲット画像にアライメントし、次に適応的ラベル補正によりターゲット予測を精緻化する。これにより、追加の学習パラメータなしで、ACDC では 65.6%、Dark Zurich では 56.2% の最先端の mIoU を達成する。

ABSTRACT

Due to the scarcity of dense pixel-level semantic annotations for images recorded in adverse visual conditions, there has been a keen interest in unsupervised domain adaptation (UDA) for the semantic segmentation of such images. UDA adapts models trained on normal conditions to the target adverse-condition domains. Meanwhile, multiple datasets with driving scenes provide corresponding images of the same scenes across multiple conditions, which can serve as a form of weak supervision for domain adaptation. We propose Refign, a generic extension to self-training-based UDA methods which leverages these cross-domain correspondences. Refign consists of two steps: (1) aligning the normal-condition image to the corresponding adverse-condition image using an uncertainty-aware dense matching network, and (2) refining the adverse prediction with the normal prediction using an adaptive label correction mechanism. We design custom modules to streamline both steps and set the new state of the art for domain-adaptive semantic segmentation on several adverse-condition benchmarks, including ACDC and Dark Zurich. The approach introduces no extra training parameters, minimal computational overhead -- during training only -- and can be used as a drop-in extension to improve any given self-training-based UDA method. Code is available at https://github.com/brdav/refign.

研究の動機と目的

• 視認性が悪い状況（例：霧、雨、夜間）におけるセマンティックセグメンテーションの耐性を向上させること。
• ノイズの多い疑似ラベルによる誤り伝搬の問題を自己学習ベースの UDA で解決すること。
• 同じシーンの異なる条件（例：昼間と夜間）の画像ペアを弱い監督信号として活用し、領域適応を改善すること。
• アーキテクチャの変更なしに既存の UDA フレームワークを強化できる汎用的でパラメータ効率の良い手法を開発すること。

提案手法

• UAWarpC を提案。これは WarpC の幾何的マッピングネットワークの確率的拡張で、参照画像とターゲット画像間の密度マッピングを不確実性を考慮した信頼スコアで推定する。
• 予測された不確実性を用いて、参照予測の空間的アライメントをターゲット画像にガイドし、遮蔽物や動的物体があっても頑健な特徴ワープを実現する。
• クラスごとの確率と不確実性に基づく信頼度重み付き混合戦略を用いて、ターゲット予測とワープされた参照予測を非パrametricに融合する、適応的ラベル補正メカニズムを適用する。
• 信頼スコアメカニズムを導入。これは、特に夜間や雪など困難な条件下で、参照予測の信頼性に基づいてその影響を動的に調整する。
• 2段階の精緻化プロセスを採用：まず、ワープされた特徴を介して参照予測をターゲットにアライメントし、次に信頼度適応型融合方式を用いてターゲット予測を精緻化する。
• 任意の自己学習ベースの UDA メソッドに即座に統合可能な拡張モジュールとして設計され、学習時の計算オーバーヘッドは最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 昼間と夜間の画像ペア（例：同じシーンの異なる時間帯）を弱い監督信号として用いることで、悪質な視覚的条件下でのセマンティックセグメンテーション性能が向上するか？
• RQ2 不確実性を考慮した密度マッピングが、領域適応における参照予測とターゲット予測のアライメントをどのように改善するか？
• RQ3 アライメントされた参照予測を用いた適応的ラベル補正は、自己学習ベースの UDA における誤り伝搬をどの程度軽減できるか？
• RQ4 視点やコンテンツが異なる参照画像とターゲット画像に対しても、本手法は霧、雪、夜間など多様な悪質な条件下で汎用性を示せるか？
• RQ5 本手法は、再学習やパラメータ追加なしに、既存の UDA フレームワークにプラグインとして適用可能か？

主な発見

• Refign は、悪質な条件下におけるセマンティックセグメンテーションの最先端の mIoU 65.6% を ACDC ベンチマークで達成した。
• Dark Zurich データセットでは 56.2% の mIoU を達成し、通常条件から悪質な条件への領域適応で新たな最先端性能を樹立した。
• ACDC において、ベースラインの DAFormer は 1.0% mIoU 向上、DACS は 6.8% mIoU 向上を達成し、優れた汎用性を示した。
• アブレーションスタディにより、アライメントと適応的精緻化の両方が不可欠であることが確認され、信頼度に依存する混合戦略は単純平均より 1.8% mIoU の向上をもたらした。
• UAWarpC は、MegaDepth、RobotCar、CMU データセットにおいて幾何的マッピングで最先端性能を達成し、精度と不確実性推定の両方が向上した。
• 定性的な結果から、Refign は参照画像の文脈を活用することで、一般的な誤分類（例：空を道路と誤認識）を効果的に是正していることが示された。