[論文レビュー] Discriminative Adversarial Domain Adaptation

Hui Tang, Kui Jia|arXiv (Cornell University)|Nov 27, 2019

Domain Adaptation and Few-Shot Learning参考文献 70被引用数 5

ひとこと要約

本稿では、分類器を統合することでカテゴリ予測とドメイン予測の相互抑制的関係を強制する、新たな対抗的学習手法である識別的対抗的ドメイン適応（DADA）を提案する。これにより、ドメイン間で特徴量とラベルの同時分布を明示的に整合化できる。DADAは、ベンチマークデータセットにおけるクローズドセット、パーシャル、オープンセットドメイン適応のすべてで最先端の性能を達成する。

ABSTRACT

Given labeled instances on a source domain and unlabeled ones on a target domain, unsupervised domain adaptation aims to learn a task classifier that can well classify target instances. Recent advances rely on domain-adversarial training of deep networks to learn domain-invariant features. However, due to an issue of mode collapse induced by the separate design of task and domain classifiers, these methods are limited in aligning the joint distributions of feature and category across domains. To overcome it, we propose a novel adversarial learning method termed Discriminative Adversarial Domain Adaptation (DADA). Based on an integrated category and domain classifier, DADA has a novel adversarial objective that encourages a mutually inhibitory relation between category and domain predictions for any input instance. We show that under practical conditions, it defines a minimax game that can promote the joint distribution alignment. Except for the traditional closed set domain adaptation, we also extend DADA for extremely challenging problem settings of partial and open set domain adaptation. Experiments show the efficacy of our proposed methods and we achieve the new state of the art for all the three settings on benchmark datasets.

研究の動機と目的

• モード崩壊のため、既存のドメイン適応手法がドメイン間で特徴量とラベルの同時分布を整合化できないという限界に対処する。
• タスク分類器とドメイン分類器を別々に設計するという問題を克服し、効果的なドメイン不変表現学習を制限する要因を解消する。
• 特徴量レベルおよびカテゴリレベルの両方で同時分布整合化を促進する統合型対抗的フレームワークを開発する。
• ラベル空間が完全に重複しないという課題的な状況、例えばパーシャルおよびオープンセットドメイン適応においても、手法を拡張する。
• クローズドセット、パーシャル、オープンセットドメイン適応の3つの適応設定すべてで最先端の性能を達成する。

提案手法

• 各入力インスタンスに対してラベルとドメインの両方を同時に予測する統合型カテゴリおよびドメイン分類器を提案する。
• 各入力に対してカテゴリ予測とドメイン予測の間で相互に抑制する関係を強制する新しい対抗的目的関数を設計する。
• ドメイン分類器がドメインを区別できるように訓練されるのに対し、特徴抽出器はそれを混乱させるように最適化されるミニマックスゲームとして学習を定式化する。これによりドメイン不変特徴が促進される。
• パーシャルドメイン適応において、外れ値のソースインスタンスの悪影響を軽減するため、DADA-Pにカテゴリレベルの重み付け機構を導入する。
• オープンセット適応用にDADA-Oを開発し、共有ラベル空間における同時分布整合化と未知クラスの分類のバランスを取る。
• ラベル付きソースデータにおける分類学習と、ソースおよびターゲットデータにおける対抗的学習を交互に実行するハイブリッドトレーニング方式を採用し、モデル安定性を維持するための慎重なハイパーパrameterチューニングを実施する。

実験結果

リサーチクエスチョン

• RQ1 カテゴリとドメイン予測の間で相互抑制を有する統合型分類器は、ドメイン適応における同時分布整合化を改善できるか？
• RQ2 DADAは、クローズドセットドメイン適応において、既存の最先端手法と比較してどのように性能を発揮するか？
• RQ3 DADAフレームワークは、ターゲットラベル空間がソースの部分集合であるパーシャルドメイン適応に効果的に拡張可能か？
• RQ4 DADAは、ソースラベル空間がターゲットの部分集合であるオープンセットドメイン適応に適応可能か？
• RQ5 実際の応用において、提案された対抗的目的関数の安定性と有効性を保証するトレーニング方式は何か？

主な発見

• DADAは、複数のベンチマークデータセットにおいて、クローズドセット、パーシャル、オープンセットの3つの適応設定すべてで最先端の性能を達成する。
• Office-31データセットにおいて、DADAはAmazon→Dslr設定で82.7%の正確度を達成し、以前の最先端手法を上回る。
• Syn2Realベンチマークでは、Real→Syn設定で83.9%の正確度を達成し、ドメインシフトへの強い一般化能力を示す。
• オープンセット適応において、DADA-OはOffice-31データセットで0.1の重み係数を用いて94.4%の正確度を達成し、未知クラスに対して高いロバストネスを示す。
• アブレーションスタディの結果、トレーニング中にps/ys > 0.5 の条件を維持することが性能に不可欠であり、提案されたトレーニング方式がこの条件を効果的に維持していることが確認された。
• トレーニングダイナミクスの分析から、対抗的学習が継続的にターゲットデータのテスト誤差を低下させ、特に重要な条件を満たす失敗率の低減と性能向上が相関していることが示された。