[論文レビュー] Unsupervised Contrastive Domain Adaptation for Semantic Segmentation

Feihu Zhang, Vladlen Koltun+3 more|arXiv (Cornell University)|Apr 18, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本稿では、ドメイン内およびドメイン間の対照的ペアを用いてドメイン間の特徴を統一し、同時に判別能を向上させる、自己教師付き対照的ドメイン適応手法を提案する。GTA5から微調整し、ラベルなしのターゲット画像を用いた場合、Cityscapesで60.2%のmIoUを達成し、特にドメインシフトが強い難易度の高いクラスにおいて、最先端の手法を上回る性能を発揮する。

ABSTRACT

Semantic segmentation models struggle to generalize in the presence of domain shift. In this paper, we introduce contrastive learning for feature alignment in cross-domain adaptation. We assemble both in-domain contrastive pairs and cross-domain contrastive pairs to learn discriminative features that align across domains. Based on the resulting well-aligned feature representations we introduce a label expansion approach that is able to discover samples from hard classes during the adaptation process to further boost performance. The proposed approach consistently outperforms state-of-the-art methods for domain adaptation. It achieves 60.2% mIoU on the Cityscapes dataset when training on the synthetic GTA5 dataset together with unlabeled Cityscapes images.

研究の動機と目的

• ソースドメインとターゲットドメインの分布の違いに起因するドメインシフトを、特にレアクラスや未学習クラスに対して解消すること。
• 低レベルのスタイル変換や敵対的訓練に依存せず、ドメイン間の特徴統一を向上させること。
• 容易なクラスと難しいクラスのバランスを取るために、ポジティブペアの戦略的サンプリングを用いた自己教師付き対照的学習フレームワークの開発。
• 特徴空間の類似性に基づく疑似ラベル拡張戦略により、ターゲットドメインにおける難易度の高いクラスのピクセルを同定・統合すること。

提案手法

• 教師ネットワークがラベルなしのターゲットドメイン画像の疑似ラベルを生成する学生-教師フレームワークを採用する。
• ドメイン内対照的ペア（ソース内およびターゲット内）とドメイン間対照的ペア（ソースからターゲットへ）を構築し、ドメイン間の特徴を統一する。
• 温度パrameterを用いたクロスエントロピー損失を最適化することで、特徴のクラスタリングを促進し、判別能を向上させる。
• 教師ネットワークからの高信頼度の疑似ラベルを選別するための信頼度しきい値機構を導入し、学生の学習をガイドする。
• 特徴空間の類似性を分析することで、ターゲットドメインの難易度の高いクラスのピクセルを同定・統合する、特徴ベースの疑似ラベル拡張戦略を採用する。
• ドメイン統一損失、対照的損失、一貫性正則化項を組み合わせた学習目的関数を用いて、学習の安定化を図る。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしのターゲットデータを前提とした自己教師付き対照的学習は、ドメイン間の特徴統一を有効に実現できるか？
• RQ2 強いドメインシフトを示す難易度の高いクラスを、自己教師付き手法でよりよく適応できるか？
• RQ3 ドメイン内とドメイン間の両方の対照的ペアを組み合わせることで、従来のドメイン適応ベースラインよりも優れた特徴統一が達成できるか？
• RQ4 特徴類似性に基づく疑似ラベル拡張戦略は、希少クラスや未学習クラスの性能向上にどの程度寄与するか？
• RQ5 温度パrameterや信頼度しきい値といったハイパーパrameterの選択に対して、本手法はどの程度ロバストか？

主な発見

• GTA5で学習し、ラベルなしのCityscapes画像を用いた場合、Cityscapesの検証セットで60.2%のmIoUを達成し、先行研究の最先端手法を上回る。
• SYNTHIAからCityscapesへのベンチマークでは56.5%のmIoUを達成し、合成データから実データへのドメインシフトに対しても優れた一般化性能を示す。
• 対照的サンプリングと疑似ラベル拡張の有効な組み合わせにより、ソースでラベルが少ないクラスや強いドメインシフトを示すクラスにおいて、顕著な性能向上が見られた。
• 特徴プロトタイプの統一性分析から、本手法はProDAや適応なしのケースと比較して、ドメイン間のクラスプロトタイプ間のL2距離を小さく抑えることができ、より良いドメイン間統一性を達成していることが示された。
• アブレーションスタディにより、λ、α、τ₀の設定変更に対しても本手法はロバストであることが確認され、性能低下はわずかにとどまる。
• ResNet-50 や ResNet-101 といった複数のアーキテクチャにおいて、Coarse-to-Fine や ProDA といった強力なベースラインを上回る性能を発揮しており、弱いバックボーンを用いても同様の優位性を示した。