[論文レビュー] Contrastive Model Adaptation for Cross-Condition Robustness in Semantic Segmentation

David Brüggemann, Christos Sakaridis+2 more|arXiv (Cornell University)|Jan 1, 2023

Domain Adaptation and Few-Shot Learning被引用数 3

ひとこと要約

本稿では、対応する通常・悪条件画像を用いて、対照学習を介して条件不変特徴を学習する、クロスコンディション意味セグメンテーションのための新規手法Contrastive Model Adaptation (CMA) を提案する。CMA は参照（通常）画像の特徴を悪条件画像の空間的視点にあわせてワープし、類似する意味的特徴をグループ化する対照損失を用いることで、元の学習データにアクセスできない状況下でも、最先端の性能を達成する。これは、標準的な教師なしドメイン適応手法よりも優れている。

ABSTRACT

Standard unsupervised domain adaptation methods adapt models from a source to a target domain using labeled source data and unlabeled target data jointly. In model adaptation, on the other hand, access to the labeled source data is prohibited, i.e., only the source-trained model and unlabeled target data are available. We investigate normal-to-adverse condition model adaptation for semantic segmentation, whereby image-level correspondences are available in the target domain. The target set consists of unlabeled pairs of adverse- and normal-condition street images taken at GPS-matched locations. Our method -- CMA -- leverages such image pairs to learn condition-invariant features via contrastive learning. In particular, CMA encourages features in the embedding space to be grouped according to their condition-invariant semantic content and not according to the condition under which respective inputs are captured. To obtain accurate cross-domain semantic correspondences, we warp the normal image to the viewpoint of the adverse image and leverage warp-confidence scores to create robust, aggregated features. With this approach, we achieve state-of-the-art semantic segmentation performance for model adaptation on several normal-to-adverse adaptation benchmarks, such as ACDC and Dark Zurich. We also evaluate CMA on a newly procured adverse-condition generalization benchmark and report favorable results compared to standard unsupervised domain adaptation methods, despite the comparative handicap of CMA due to source data inaccessibility. Code is available at https://github.com/brdav/cma.

研究の動機と目的

• 濃霧、雨、雪などの悪条件下での意味セグメンテーションの耐性を高めること。
• プライバシーまたは特許上の制約により、実世界の展開では一般的なラベル付きソースデータにアクセスできない状況でも動作するモデル適応手法を開発すること。
• GPS で一致する場所に位置する対応する通常・悪条件画像の画像レベルの対応関係を活用し、クロスコンディション一般化を向上させること。
• 対照学習を用いて条件不変特徴を学習し、天候要因によるドメインシフトを最小限に抑えること。
• ACDC や Dark Zurich といったベンチマークで、意味セグメンテーションのモデル適応において最先端の性能を達成すること。

提案手法

• CMA は、悪条件画像からの特徴をアンカーとし、それに対応する正規条件画像からの特徴をポジティブ例とする対照学習フレームワークを用いる。
• 予測されたワープを用いて、通常条件画像の特徴マップを悪条件画像の空間的視点にあわせる。これにより、対応する特徴の空間的整合性が得られる。
• 信頼度に基づく特徴集約戦略により、誤一致や不確実性に対してより頑健な特徴を組み合わせる。
• 対照損失は、悪条件とそれに対応する通常条件の特徴ペア（ポジティブペア）を埋め込み空間内で近づける一方で、同じ画像内または異なる画像内の他の特徴（ネガティブ例）からは離れるようにする。
• 訓練の安定化とモード崩壊の低減を図るため、特徴の指数的移動平均（EMA）を用いる。
• 本手法は、事前学習済みソースモデルと、対応する参照画像を伴うラベルなしターゲット画像のみを用いて、エンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 通常条件と悪条件画像の間の画像レベルの対応関係を、ソースデータにアクセスできない状況下でのクロスコンディション意味セグメンテーション向上に効果的に活用できるか？
• RQ2 正規条件画像からの特徴をポジティブ例とする対照学習は、標準的なドメイン適応や単純なファインチューニングと比較して、より条件不変な表現を生成するか？
• RQ3 ワープ信頼度と特徴集約の導入が、誤一致やドメインシフトに対する頑健性をどのように向上させるか？
• RQ4 ソース学習データにアクセスできない状況下でも、標準的な教師なしドメイン適応（UDA）手法を上回る性能を達成できるモデル適応手法は存在するか？
• RQ5 提案手法は、新しいベンチマークで未観測の悪条件にまで一般化できるか、その程度はどの程度か？

主な発見

• CMA は ACDC の検証セットで 67.2 の mIoU を達成し、通常から悪条件への意味セグメンテーションのモデル適応分野で、新たな最先端性能を樹立した。
• Dark Zurich ベンチマークでは、既存のモデル適応手法を上回り、一部の標準的 UDA 手法でさえも上回った。これは、ソースデータにアクセスできない状況下でも、本手法の有効性を示している。
• アブレーションスタディの結果、対照損失を除去すると mIoU は 60.1 に低下し、対照的目標が性能向上に不可欠であることが確認された。
• t-SNE 視覚化により、CDC 損失を用いた CMA は、異なる条件（例：空と歩道）からの特徴をうまくグループ化している一方、CDC 損失を含まないバージョンは特徴が散らばり、グループ化されていないことが確認された。
• ハイパーパramータ感度分析の結果、埋め込みグリッドサイズや InfoNCE の温度パラメータの変更に対しても性能が安定しており、最適化の安定性が示された。
• 新たに導入された悪条件一般化（ACG）ベンチマークでは、標準的 UDA 手法と比較して良好な結果を達成し、データアクセスの不利な状況下でも一般化能力が有効であることが検証された。