[論文レビュー] Prototypical Contrast Adaptation for Domain Adaptive Semantic Segmentation

Zhengkai Jiang, Yuxi Li+5 more|arXiv (Cornell University)|Jul 14, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本稿では、クラスごとのプロトタイプを用いてクラス間関係をモデル化することで特徴の区別能を向上させる、教師なしドメイン適応セマンティックセグメンテーションのための新しい対照学習手法であるプロトタイプ対照適応（ProCA）を提案する。同じクラスの特徴を同一クラスのプロトタイプにアライニングし、他のクラスから遠ざけることで、DeepLab-v2とResNet-101を用いてGTA5→Cityscapesで56.3%、SYNTHIA→Cityscapesで53.0%の最先端のmIoUを達成する。

ABSTRACT

Unsupervised Domain Adaptation (UDA) aims to adapt the model trained on the labeled source domain to an unlabeled target domain. In this paper, we present Prototypical Contrast Adaptation (ProCA), a simple and efficient contrastive learning method for unsupervised domain adaptive semantic segmentation. Previous domain adaptation methods merely consider the alignment of the intra-class representational distributions across various domains, while the inter-class structural relationship is insufficiently explored, resulting in the aligned representations on the target domain might not be as easily discriminated as done on the source domain anymore. Instead, ProCA incorporates inter-class information into class-wise prototypes, and adopts the class-centered distribution alignment for adaptation. By considering the same class prototypes as positives and other class prototypes as negatives to achieve class-centered distribution alignment, ProCA achieves state-of-the-art performance on classical domain adaptation tasks, {\em i.e., GTA5 $ o$ Cityscapes ext{and} SYNTHIA $ o$ Cityscapes}. Code is available at \href{https://github.com/jiangzhengkai/ProCA}{ProCA}

研究の動機と目的

• 従来の教師なしドメイン適応（UDA）手法が内部クラス分布の整合性にのみ注目しており、ターゲットドメインにおけるクラス間分離が不十分であるという限界を是正する。
• クラスごとのプロトタイプを用いてクラス間構造的関係を明示的にモデル化することで、ターゲットドメインにおける特徴の区別能を向上させる。
• オンラインプロトタイプ更新を併用した特徴レベルおよび出力レベルの対照的適応を共同最適化することで、ドメイン不変性と表現品質を向上させる。
• クラスに配慮した疑似ラベル付けとマルチレベル適応を統合することで、標準的なUDAベンチマークにおけるセマンティックセグメンテーションの性能を顕著に向上させる。

提案手法

• クラス間関係をモデル化するため、ソースドメインの特徴の重心表現としてクラスごとのプロトタイプを構築する。
• 同じクラスの特徴をポジティブペア、異なるクラスの特徴をネガティブペアとして扱うことで、プロトタイプ対照学習を適用する。
• 特徴レベル（セグメンテーションヘッドからの特徴を用いる）と出力レベル（分類器からのロジットを用いる）の2本の対照的適応を導入する。
• トレーニング中にソースおよびターゲットドメインの両方の特徴を用いて、プロトタイプを段階的に更新するオンラインプロトタイプ更新スキームを実装する。
• 高信頼度の疑似ラベルをフィルタリングするためのクラスに配慮した適応的しきい値を備えた自己学習フレームワークを統合する。
• ドメイン内（ソース→ソース）およびクロスドメイン（ターゲット→ソース）の対照学習を組み合わせることで、特徴アライメントの安定性と強化を図る。

実験結果

リサーチクエスチョン

• RQ1 クラスごとのプロトタイプを用いたクラス間関係の明示的モデリングが、教師なしセマンティックセグメンテーションにおけるドメイン一般化を改善できるか？
• RQ2 クラスごとのプロトタイプに基づく対照学習が、ピクセル単位の対照学習手法よりも、セマンティックセグメンテーションのドメイン適応において優れているか？
• RQ3 特徴レベルと出力レベルの両方の対照的適応を併用した場合、単一レベルの適応と比較して性能にどのような影響を与えるか？
• RQ4 オンラインプロトタイプ更新がドメイン不変性およびモデルのロバストネスをどの程度向上させるか？
• RQ5 自己学習フェーズにおける高信頼度疑似ラベル生成の最適なしきい値パcentは何か？

主な発見

• ProCAは、DeepLab-v2とResNet-101を用いてGTA5→Cityscapesベンチマークで56.3%の最先端のmIoUを達成し、従来のSOTA手法を顕著に上回る。
• アブレーションスタディにより、ドメイン内およびクロスドメインの対照学習を組み合わせることで最高のmIoU（48.8%）が得られ、二重ブランチ適応の有効性が確認された。
• 自己学習フェーズにおける疑似ラベル生成のしきい値として60%を用いるのが最良のパフォーマンス（55.1% mIoU）をもたらし、しきい値をさらに上げると性能が低下した。
• マルチレベル適応（特徴 + 出力）は48.8%のmIoUを達成し、単一レベルの変種（それぞれ47.9%および48.4%）を上回り、階層的アライメントの利点を裏付けた。
• プロトタイプのオンラインミックス更新スキームは48.8%のmIoUを達成し、固定プロトタイプ（47.8%）およびソースオンリーアップデート（48.3%）を上回り、ドメイン不変性向上におけるその有効性を検証した。
• ProCAはプロトタイプ対照適応のみで48.8%のmIoUを達成し、FADA（46.9%）、SDCA（47.2%）、メモリバンクベースライン（47.6%）を上回り、クラス間モデリングにおける優位性を確認した。