[論文レビュー] Domain-Adversarial Neural Networks

Hana Ajakan, Pascal Germain+3 more|arXiv (Cornell University)|Dec 15, 2014

Anomaly Detection Techniques and Applications参考文献 18被引用数 246

ひとこと要約

この論文は、ドメイン不変表現を学習するための敵対的損失を用いてドメイン適応を向上させる深層学習フレームワークであるドメイン敵対的ニューラルネットワーク（DANN）を提案する。この手法は、特にマージナライズドスタックドノイズ除去オートエンコーダー（mSDA）と組み合わせた場合、感情分析ベンチマークで最先端の性能を達成し、標準的なニューラルネットワークやSVMを上回る。

ABSTRACT

We introduce a new representation learning algorithm suited to the context of domain adaptation, in which data at training and test time come from similar but different distributions. Our algorithm is directly inspired by theory on domain adaptation suggesting that, for effective domain transfer to be achieved, predictions must be made based on a data representation that cannot discriminate between the training (source) and test (target) domains. We propose a training objective that implements this idea in the context of a neural network, whose hidden layer is trained to be predictive of the classification task, but uninformative as to the domain of the input. Our experiments on a sentiment analysis classification benchmark, where the target domain data available at training time is unlabeled, show that our neural network for domain adaption algorithm has better performance than either a standard neural network or an SVM, even if trained on input features extracted with the state-of-the-art marginalized stacked denoising autoencoders of Chen et al. (2012).

研究の動機と目的

• トレーニングデータとテストデータが異なるが関連する分布から来ることによるドメインシフトの課題に対処すること。
• ラベル付きのソースドメインからラベルなしのターゲットドメインへの効果的な転移を可能にする表現学習アルゴリズムを開発すること。
• ドメイン適応の理論的知見——特に、良い表現はドメイン間で区別不能であるべき——を深層ニューラルネットワークフレームワークに実装すること。
• トレーニング中にターゲットラベルが利用できない半教師あり学習の設定における一般化を向上させること。

提案手法

• 分類精度と隠れ層におけるドメイン不変性の両方を最適化するドメイン敵対的訓練目的関数を導入する。
• 入力のソースラベルを予測するためのヘッドと、入力のドメイン（ソースまたはターゲット）を予測するためのもう一つのヘッドを備えたニューラルネットワークを訓練する。
• 勾配反転を用いてドメイン識別器の勾配を逆方向にバックプロパゲートし、特徴抽出器がドメインについての情報を含まない表現を学習するように促進する。
• 隠れ層にドメイン敵対的正則化子を適用し、ドメイン分類器がソース例とターゲット例を区別できないようにする。
• mSDAを用いて表現品質とドメイン不変性をさらに向上させるために、DANNとmSDAを組み合わせる。
• DANNがソースドメインとターゲットドメインの表現間の統計的乖離を低下させることを実証的に検証するための代理指標であるProxy A-distance（PAD）を用いる。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練を用いて、深層ニューラルネットワークにおけるドメイン不変表現を学習し、効果的なドメイン適応を達成できるか？
• RQ2 隠れ層におけるドメイン不変性を強制することで、標準的なニューラルネットワークやSVMと比較して、ラベルなしターゲットデータにおける一般化性能が向上するか？
• RQ3 mSDAのような最先端の表現学習手法と比較して、DANNはドメイン乖離と分類精度の観点でどのように差をつけるか？
• RQ4 DANNをmSDAと効果的に組み合わせることで、ドメイン差違をさらに低減し、性能を向上させられるか？
• RQ5 Proxy A-distance（PAD）は、実際のドメイン適応性能とどの程度相関しているか？

主な発見

• DANNは、Amazon Reviewsの感情分析ベンチマークで、標準的なニューラルネットワークやSVMを上回り、次の-best手法よりも1.7%の絶対的精度向上を達成した。
• mSDA表現と組み合わせた場合、DANNは最先端の性能を達成し、ポisson二項分布検定によると、標準的なニューラルネットワークを上回る確率が0.82、SVMを上回る確率が0.88に達した。
• DANN表現を用いることで、生データや標準的なニューラルネットワーク特徴量と比較して、Proxy A-distance（PAD）が顕著に低減され、ドメイン乖離の低減が確認された。
• mSDA表現単体よりもDANN表現はPAD値が低く、mSDAがドメイン判別性を低下させないのに対し、DANNは明示的にドメイン判別性を低減していることを示している。
• mSDAとDANNの組み合わせはPADを顕著に低下させ、相乗効果があることを示している：mSDAはノイズ耐性を向上させ、DANNはドメイン不変性を強化する。
• さまざまなハイパーパramータ設定においても安定した性能向上が複数回の実行と設定で確認され、本手法は頑健である。