[論文レビュー] Partial Adversarial Domain Adaptation

Zhangjie Cao, Lijia Ma+2 more|arXiv (Cornell University)|Aug 10, 2018

Domain Adaptation and Few-Shot Learning参考文献 29被引用数 28

ひとこと要約

本論文では、共有ラベル空間における特徴分布の整合化に加え、敵対的訓練中に外れのソースクラスの重みを低減することで、部分的ドメイン適応を解決する新しいフレームワークである部分的敵対的ドメイン適応（PADA）を提案する。PADAは、ソースラベル空間がターゲットラベル空間を厳密に包含する状況において、負の転送を軽減し、有効な正の転送を可能にすることで、ベンチマークデータセット上で最先端の手法を上回る性能を達成する。

ABSTRACT

Domain adversarial learning aligns the feature distributions across the source and target domains in a two-player minimax game. Existing domain adversarial networks generally assume identical label space across different domains. In the presence of big data, there is strong motivation of transferring deep models from existing big domains to unknown small domains. This paper introduces partial domain adaptation as a new domain adaptation scenario, which relaxes the fully shared label space assumption to that the source label space subsumes the target label space. Previous methods typically match the whole source domain to the target domain, which are vulnerable to negative transfer for the partial domain adaptation problem due to the large mismatch between label spaces. We present Partial Adversarial Domain Adaptation (PADA), which simultaneously alleviates negative transfer by down-weighing the data of outlier source classes for training both source classifier and domain adversary, and promotes positive transfer by matching the feature distributions in the shared label space. Experiments show that PADA exceeds state-of-the-art results for partial domain adaptation tasks on several datasets.

研究の動機と目的

• ソースドメインにターゲットドメインに存在しないクラスを含む状況において、ドメイン適応における負の転送の課題に対処すること。
• 既存のドメイン敵対的ネットワークが強いラベル空間の同一性仮定に依存するのを緩和し、より現実的な部分的ドメイン適応のシナリオを導入すること。
• 外れのソースクラスからの負の転送を同時に低減し、共有ラベル空間での正の転送を強化するエンドツーエンドのディープラーニングフレームワークを開発すること。
• 大規模なソースドメイン（例：ImageNet）から、ラベルオーバーラップが部分的で、未知のターゲットドメインに事前学習済みモデルを効果的に転送できること。

提案手法

• PADAは、分類器およびドメインアドバーシャーの両方の訓練中に、外れのソースクラスからの特徴の重みを自動的に低減するクラス重み付け機構を導入する。
• 本手法は、ソースとターゲットの特徴を区別するドメイン識別器を訓練するが、クラス固有の重みを適用して、関係のないソースクラスの影響を抑制する。
• 共有ラベル空間における特徴分布は敵対的訓練により整合化され、共通クラスのドメイン不変表現を促進する。
• フレームワークはエンドツーエンド微分可能であり、分類器、ドメイン識別器、およびクラス重みの同時最適化を可能にする。
• クラス重みは、外れのクラスからの寄与をペナルティ化する微分可能な重み付け戦略を用いて訓練中に学習される。
• 本手法は、ソースとターゲットドメイン間のデータ分布の不一致に適応する動的重み付け機構と、ドメイン敵対的訓練を統合する。

実験結果

リサーチクエスチョン

• RQ1 ソースラベル空間がターゲットラベル空間のスーパーセットである状況において、敵対的ドメイン適応を効果的に拡張できるか。
• RQ2 ターゲットクラスの事前知識なしに、外れのソースクラスからの負の転送をどのように軽減できるか。
• RQ3 完全なドメインマッチングと比較して、共有ラベル空間における特徴整合化は、部分的ドメイン適応においてどの程度性能を向上させられるか。
• RQ4 提案された重み付け機構は、ドメインシフトとラベル不一致の存在下で、訓練を安定化させ、収束を改善するか。

主な発見

• PADAは、特にターゲットクラス数が減少する際、DANNや他の最先端手法を顕著に上回る性能を示す。
• ImageNet-1K → Caltech-84のタスクにおいて、PADAはDANNに比べて顕著な正確性の向上を達成し、大規模なラベル空間の不一致に対しても頑健であることを示した。
• アブレーションスタディにより、クラス重み付け機構が外れのソースクラスの影響を効果的に低減していることが確認され、低いテスト誤差と安定した収束が得られた。
• t-SNE可視化により、PADAがターゲットデータを関係のないソースクラスから分離しながら、正しいソースクラスと共有空間で整合化していることが確認された。
• PADAはDANNやRTNと比較して、より速く、より安定して収束し、訓練全体を通じて低いかつ一貫性のあるテスト誤差を示した。
• ターゲットクラス数が31（つまり、外れのクラスがない）の場合、PADAはDANNと同等の性能を示し、重み付け機構が標準的なドメイン適応設定でも性能を損なわないことを検証した。