[論文レビュー] Semi-Supervised Domain Adaptation via Adaptive and Progressive Feature Alignment

Jiaxing Huang, Dayan Guan+2 more|arXiv (Cornell University)|Jun 5, 2021

Domain Adaptation and Few-Shot Learning参考文献 57被引用数 5

ひとこと要約

本稿では、少量のラベル付きターゲットサンプルをアンカーとして用いることで、アダプティブなクロスドメイン特徴マッピングと段階的なイントラドメインマッピングを可能にする、新しい半教師付きドメイン適応的セマンティックセグメンテーションフレームワークSSDASを提案する。反復的にラベル付きターゲットに類似する特徴に基づいてソース特徴を再重み付けし、類似度が低いソース特徴を高信頼度のターゲット特徴に置き換えることで、GTA5→Cityscapesおよび他のベンチマークで最先端の性能を達成する。これは、教師なしおよび半教師付き手法を上回る。

ABSTRACT

Contemporary domain adaptive semantic segmentation aims to address data annotation challenges by assuming that target domains are completely unannotated. However, annotating a few target samples is usually very manageable and worthwhile especially if it improves the adaptation performance substantially. This paper presents SSDAS, a Semi-Supervised Domain Adaptive image Segmentation network that employs a few labeled target samples as anchors for adaptive and progressive feature alignment between labeled source samples and unlabeled target samples. We position the few labeled target samples as references that gauge the similarity between source and target features and guide adaptive inter-domain alignment for learning more similar source features. In addition, we replace the dissimilar source features by high-confidence target features continuously during the iterative training process, which achieves progressive intra-domain alignment between confident and unconfident target features. Extensive experiments show the proposed SSDAS greatly outperforms a number of baselines, i.e., UDA-based semantic segmentation and SSDA-based image classification. In addition, SSDAS is complementary and can be easily incorporated into UDA-based methods with consistent improvements in domain adaptive semantic segmentation.

研究の動機と目的

• 大規模なドメインギャップを抱える教師なしドメイン適応（UDA）の限界を克服するため、少数のラベル付きターゲットサンプルを統合すること。
• 従来、SSDAでほとんど検討がなかったセマンティックセグメンテーションというタスクに特化した半教師付きドメイン適応（SSDA）フレームワークの開発。
• ラベル付きターゲットサンプルを動的アンカーとして用いることで、ソースドメインとターゲットドメイン間の特徴マッピングを改善すること。
• トレーニング中に類似度が低いソース特徴を高信頼度のターゲット特徴に段階的に置き換えることで、ソース特徴の段階的精錬を可能にすること。
• SSDASが既存のUDA手法と互換性があり、性能を向上させられることを実証すること。

提案手法

• 少数のラベル付きターゲットサンプルをアンカーとして位置付け、ソースとターゲット特徴間のクロスドメイン類似度（CDS）を計算する。
• ラベル付きターゲット特徴との類似度に基づいて、ソース特徴をアダプティブに再重み付けし、ターゲットに類似する特徴に高い重みを与える。
• 新たに重み付けされたソース特徴を用いて特徴センターを更新し、マッピングをガイドする。
• ターゲット特徴を更新された特徴センターにマッピングすることで、ドメインマッピングを精錬する。
• 反復的トレーニング中に、類似度が低いソース特徴を段階的に高信頼度のターゲット特徴に置き換えることで、イントラドメインマッピングを向上させる。
• ジャイガーパズル分類器を用いて文脈に配慮した特徴を抽出し、それらをドメインマッピングに使用するが、従来の特徴とも同様に有効である。

実験結果

リサーチクエスチョン

• RQ1 少数のラベル付きターゲットサンプルが、ドメイン適応的セマンティックセグメンテーションの性能を顕著に向上させることができるか？
• RQ2 ラベル付きターゲットサンプルを効果的に活用し、ドメイン間でアダプティブかつ段階的な特徴マッピングを誘導する方法は何か？
• RQ3 提案手法が、セマンティックセグメンテーションにおける既存の教師なしおよび半教師付きドメイン適応アプローチを上回るか？
• RQ4 提案手法が既存の教師なしドメイン適応フレームワークと互換性があり、補完的であるか？
• RQ5 手法のラベル付きターゲットサンプル数やハイパーパrameterの変動に対して、どれほど頑健か？

主な発見

• GTA5→Cityscapesベンチマークにおいて、20個のラベル付きターゲットサンプルを用いた場合、SSDASはmIoUが52.6%を達成し、ベースラインのS+T手法（44.6%）を顕著に上回る。
• 1個のラベル付きターゲットサンプルのみを用いても、SSDASは48.5%のmIoUを達成し、極めて少数のサンプル設定でも強力な性能を示す。
• ハイパーパrameterの変動に対しても頑健である：Jigsaw Puzzle損失の重み（λj）やパズルクラス数（N）の異なる値に対しても、性能は安定している。
• 文脈に配慮した特徴と従来の特徴の両方で効果的に動作する。GTA5→Cityscapesで文脈特徴を用いると49.7%のmIoU、従来特徴を用いると47.1%のmIoUを達成する。
• 既存のUDA手法に統合した場合、SSDASは一貫して性能を向上させ、その補完性と汎用性を示している。
• 定性的な分析と特徴可視化により、SSDASがドメインシフトを低減し、ドメイン間で特徴の凝縮性を向上させていることが確認された。