[論文レビュー] Category Contrast for Unsupervised Domain Adaptation in Visual Tasks

Jiaxing Huang, Dayan Guan+3 more|arXiv (Cornell University)|Jun 5, 2021

Domain Adaptation and Few-Shot Learning参考文献 94被引用数 10

ひとこと要約

本稿では、対照的学習のための意味的意識あり、カテゴリバランス、ドメイン混合の辞書を構築することで特徴表現学習を向上させる、新しい教師なしドメイン適応手法であるCategory Contrast (CaCo)を提案する。疑似ラベルが付与されたターゲットサンプルとソースのカテゴリ事前分布を活用することで、カテゴリを識別可能かつドメイン不変な表現を学習し、画像分類、セマンティックセグメンテーション、オブジェクト検出の各タスクにおいて、既存手法を上回る一貫した性能向上を達成する。

ABSTRACT

Instance contrast for unsupervised representation learning has achieved great success in recent years. In this work, we explore the idea of instance contrastive learning in unsupervised domain adaptation (UDA) and propose a novel Category Contrast technique (CaCo) that introduces semantic priors on top of instance discrimination for visual UDA tasks. By considering instance contrastive learning as a dictionary look-up operation, we construct a semantics-aware dictionary with samples from both source and target domains where each target sample is assigned a (pseudo) category label based on the category priors of source samples. This allows category contrastive learning (between target queries and the category-level dictionary) for category-discriminative yet domain-invariant feature representations: samples of the same category (from either source or target domain) are pulled closer while those of different categories are pushed apart simultaneously. Extensive UDA experiments in multiple visual tasks (e.g., segmentation, classification and detection) show that CaCo achieves superior performance as compared with state-of-the-art methods. The experiments also demonstrate that CaCo is complementary to existing UDA methods and generalizable to other learning setups such as unsupervised model adaptation, open-/partial-set adaptation etc.

研究の動機と目的

• より良い特徴表現学習を通じて、視覚的タスクにおけるドメインシフトを改善するための教師なしドメイン適応（UDA）の向上を図ること。
• インスタンス識別に注目するが、意味的カテゴリやドメイン不変性を考慮しない既存の教師なし表現学習手法の限界を克服すること。
• カテゴリ事前分布とドメイン混合データを統合した対照的学習フレームワークを構築し、強固で汎用性の高い特徴を学習すること。
• 本手法の有効性と、多様なUDAタスクおよび学習設定における相乗効果を実証すること。

提案手法

• ソースドメインのサンプル（真のラベル付き）とターゲットドメインのサンプル（疑似ラベル付き）を組み合わせることで、カテゴリバランスでドメイン混合なキーセットを形成する意味的意識ありの辞書を構築する。
• ソースドメイン特徴から導出されるカテゴリ事前分布に基づき、ターゲットサンプルに疑似カテゴリラベルを割り当て、カテゴリ意識のある対照的学習を可能にする。
• 同じカテゴリの特徴を異なるドメイン間で引き寄せる一方で、異なるカテゴリの特徴を遠ざける、カテゴリ対照的損失（CatNCE）を採用する。
• 各ターゲットクエリを辞書内のすべてのキーデータに対して対照的に比較する辞書参照メカニズムを採用し、全カテゴリにわたるバランスの取れた学習を保証する。
• 安定した学習を実現するため、動的で長期的なキーデータのメモリバンク更新戦略を実装する。
• 既存のUDAフレームワークにカテゴリ対照的損失を統合し、即座に適用可能な改善が可能となる。

実験結果

リサーチクエスチョン

• RQ1 ソースデータからの意味的事前知識を活用することで、カテゴリ意識のある対照的学習は教師なしドメイン適応を向上させ得るか？
• RQ2 ドメイン混合かつカテゴリバランスの取れた辞書は、ドメイン不変かつカテゴリ識別可能な表現学習をどのように向上させるか？
• RQ3 提案手法であるCategory Contrast (CaCo)は、セグメンテーション、検出、分類といった多様な視覚的タスクに一般化可能か？
• RQ4 CaCoは、既存の最先端UDA手法とどの程度相乗効果を示すか？
• RQ5 CaCoは、オープンセットやパーシャルセットドメイン適応といった他の学習設定へも拡張可能か？

主な発見

• CaCoは、セマンティックセグメンテーションのGTA5 → Cityscapes、COCOインスタンスセグメンテーション、ImageNetスタイル分類を含む、複数の視覚的UDAベンチマークで最先端の性能を達成している。
• 既存の最先端UDA手法に統合された場合、評価された全タスクで一貫した性能向上を示し、強力な相乗効果を示している。
• 事前学習タスク（インスタンス対照的学習や回転予測など）に依存する教師なし表現学習ベースラインと比較して、UDA設定下で顕著に優れた性能を示している。
• 実験により、ハイパーパrameter M（カテゴリごとの辞書サイズ）が性能にほとんど影響しないことが判明し、ハイパーパrameter選択に対して頑健であることが示された。
• CaCoは、教師なしモデル適応、オープンセットUDA、パーシャルセットUDAといった困難な設定に対しても効果的に一般化でき、広範な適用可能性を示している。
• アブレーションスタディにより、カテゴリ意識あり、ドメイン混合、カテゴリバランスの取れた辞書設計の組み合わせが性能向上に不可欠であり、別々の辞書や固定温度スケーリングを用いた変種よりも優れていることが確認された。