[論文レビュー] Wasserstein Distance Guided Representation Learning for Domain Adaptation

Jian Shen, Yanru Qu+2 more|arXiv (Cornell University)|Jul 5, 2017

Domain Adaptation and Few-Shot Learning被引用数 298

ひとこと要約

WDGRLは、ドメイン批評家を介してソースとターゲットの特徴間の Wasserstein 距離を敵対的に最小化することにより、ドメイン不変で識別的な表現を学習し、感情分析および画像分類タスクにおけるクロスドメイン性能を向上させる。

ABSTRACT

Domain adaptation aims at generalizing a high-performance learner on a target domain via utilizing the knowledge distilled from a source domain which has a different but related data distribution. One solution to domain adaptation is to learn domain invariant feature representations while the learned representations should also be discriminative in prediction. To learn such representations, domain adaptation frameworks usually include a domain invariant representation learning approach to measure and reduce the domain discrepancy, as well as a discriminator for classification. Inspired by Wasserstein GAN, in this paper we propose a novel approach to learn domain invariant feature representations, namely Wasserstein Distance Guided Representation Learning (WDGRL). WDGRL utilizes a neural network, denoted by the domain critic, to estimate empirical Wasserstein distance between the source and target samples and optimizes the feature extractor network to minimize the estimated Wasserstein distance in an adversarial manner. The theoretical advantages of Wasserstein distance for domain adaptation lie in its gradient property and promising generalization bound. Empirical studies on common sentiment and image classification adaptation datasets demonstrate that our proposed WDGRL outperforms the state-of-the-art domain invariant representation learning approaches.

研究の動機と目的

• ターゲットのラベル付きデータが乏しい共変量シフト下でのドメイン適応を促進する。
• ドメインに対して不変でありつつ識別的な特徴表現を学習する。
• 安定した勾配とより良い一般化保証のために Wasserstein 距離を活用する。
• WDGRL を識別器を備えた識別可能な分類器と統合して、ターゲットドメインの予測性を保証する。

提案手法

• 入力を潜在表現へ写像する特徴抽出器 f_g を導入する。
• ソースとターゲットの表現間の Wasserstein 距離を推定するドメイン批評家 f_w を訓練する。
• 勾配ペナルティを介して批評家にリプシッツ制約を課し、勾配上昇とともに Wasserstein 距離を最適化する。
• ターゲットの Wasserstein 距離を最小化しつつ、ソースドメインの分類損失も最小化するように特徴抽出器を更新する。
• 任意に WDGRL を識別子と組み合わせて、ターゲットドメインの識別的・ラベル意識表現を保証する。
• 批評家最大化と表現・識別器最小化を交互に行う実用的な訓練アルゴリズムを提供する。

実験結果

リサーチクエスチョン

• RQ1 Wasserstein 距離はドメイン適応におけるソースとターゲットの表現を揃えるために信頼できる勾配を提供できるか？
• RQ2 WDGRL は標準ベンチマークで既存のドメイン不変表現学習手法（例：DANN、MMD、CORAL）より優れているか？
• RQ3 学習された表現は理論的な上限で支持されるようにターゲットドメインへ一般化するか？
• RQ4 supervised discriminator を組み込むとターゲットドメインの性能と表現品質にどう影響するか？

主な発見

• WDGRL は感情分析と画像分類の一般的なドメイン適応ベンチマークで最先端の表現学習手法を上回った。
• 学習された表現はドメイン不変でありつつ識別的であることが、ラベル構造を保持したまま統一されたドメイン分布を可視化で示した。
• 理論分析では Wasserstein 距離の勾配が従来の敵対的損失より優れており、安定した訓練と一般化を促進することを示唆。
• Amazon レビューと Office-Caltech データセットでの経験的結果は、転移タスク全体の平均精度を向上させた。
• WDGRL は現在の対称的特徴ベース適応フレームワークに、表現学習コンポーネントを置換することで統合可能。