[論文レビュー] Adversarial Representation Learning for Domain Adaptation.

Jian Shen, Yanru Qu+2 more|arXiv (Cornell University)|Jul 5, 2017

Domain Adaptation and Few-Shot Learning参考文献 20被引用数 29

ひとこと要約

本稿では、ソースドメインとターゲットドメインの間の経験的ワサーライン距離を推定するドメインクリティックを活用し、この距離を敵対的に最小化することでドメイン不変かつ判別性の高い特徴を学習する、新しいドメイン適応手法であるワサーライン距離誘導表現学習（WDGRL）を提案する。WDGRLは、ワサーライン距離の勾配安定性と強い一般化境界の利点を活用することで、センチメント分類および画像分類ベンチマークで最先端の性能を達成する。

ABSTRACT

Domain adaptation aims at generalizing a high-performance learner on a target domain via utilizing the knowledge distilled from a source domain which has a different but related data distribution. One solution to domain adaptation is to learn domain invariant feature representations while the learned representations should also be discriminative in prediction. To learn such representations, domain adaptation frameworks usually include a domain invariant representation learning approach to measure and reduce the domain discrepancy, as well as a discriminator for classification. Inspired by Wasserstein GAN, in this paper we propose a novel approach to learn domain invariant feature representations, namely Wasserstein Distance Guided Representation Learning (WDGRL). WDGRL utilizes a neural network, denoted by the domain critic, to estimate empirical Wasserstein distance between the source and target samples and optimizes the feature extractor network to minimize the estimated Wasserstein distance in an adversarial manner. The theoretical advantages of Wasserstein distance for domain adaptation lie in its gradient property and promising generalization bound. Empirical studies on common sentiment and image classification adaptation datasets demonstrate that our proposed WDGRL outperforms the state-of-the-art domain invariant representation learning approaches.

研究の動機と目的

• 予測に適したドメイン不変の表現を学習することで、機械学習におけるドメインシフトを解決すること。
• 従来のGANベースの乖離測定法よりもワサーライン距離の理論的利点を活用することで、ドメイン適応における一般化を向上させること。
• 特徴抽出とドメイン乖離低減の両方を同時に最適化する、堅牢な敵対的フレームワークを構築すること。
• 既存の最先端手法と比較して、標準的なドメイン適応ベンチマークで優れた性能を示すこと。

提案手法

• WDGRLは、ソースドメインとターゲットドメインの特徴分布間の経験的ワサーライン距離を推定するドメインクリティックネットワークを導入する。
• 特徴抽出器は、推定されたワサーライン距離を最小化するように敵対的に訓練され、ドメイン不変性が促進される。
• 分類ヘッドとドメインクリティックを組み合わせることで、判別力とドメイン不変性の両方を同時に最適化するフレームワークを構築する。
• ワサーラインGANにインspiredされ、勾配に基づく最適化による安定な学習を可能にするカントロビッチ＝ルビンシュテイン双対性を用いる。
• 理論的分析により、ワサーライン距離は従来のドメイン乖離測定法よりも優れた勾配フローとよりタイトな一般化境界を提供することが示される。
• ドメインの混同と分類精度の両立を図るミニマックス目的関数を用いて、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 従来のGANベースのアプローチと比較して、ワサーライン距離はドメイン適応におけるより安定的かつ効果的なドメイン乖離推定を可能にするか？
• RQ2 ワサーライン距離を用いた敵対的学習は、下流の分類タスクにおける一般化と性能を向上させるか？
• RQ3 多様なデータセットにおいて、WDGRLは最先端のドメイン適応手法と比較して、正確性と頑健性の面で優れているか？
• RQ4 ワサーライン距離の勾配特性は、特徴抽出器の学習ダイナミクスと収束性にどのような影響を与えるか？

主な発見

• WDGRLは、一般的なセンチメント分類および画像分類ドメイン適応ベンチマークで最先端の性能を達成する。
• 提案手法は、ワサーライン距離の有利な勾配特性のおかげで、優れた一般化性能を示す。
• 実験的結果から、複数のデータセットにおいて、既存のドメイン不変表現学習アプローチを一貫して上回ることが示された。
• ワサーライン距離の使用により、従来のGANベースのドメイン乖離最小化と比較して、より安定した学習ダイナミクスが得られた。
• ドメイン乖離指標で測定されたように、WDGRLはドメインシフトを効果的に低減しつつ、高い予測精度を維持する。
• 理論的分析により、WDGRLの一般化境界が、標準的なドメイン適応フレームワークよりもタイトであることが確認された。