[論文レビュー] Transfer Learning with Dynamic Adversarial Adaptation Network

Chaohui Yu, Jindong Wang+2 more|arXiv (Cornell University)|Sep 18, 2019

Domain Adaptation and Few-Shot Learning参考文献 44被引用数 31

ひとこと要約

本稿では、敵対的訓練中に、グローバル（マージナル）およびローカル（条件付き）ドメイン分布の相対的重要性を動的に定量的に評価する、新しいドメイン適応手法である Dynamic Adversarial Adaptation Network (DAAN) を提案する。学習可能な動的敵対的要因を導入することで、Office-Home などの標準ベンチマークで最先端の性能を達成し、DANN や JAN よりも 61.8% の精度を上回った。

ABSTRACT

The recent advances in deep transfer learning reveal that adversarial learning can be embedded into deep networks to learn more transferable features to reduce the distribution discrepancy between two domains. Existing adversarial domain adaptation methods either learn a single domain discriminator to align the global source and target distributions or pay attention to align subdomains based on multiple discriminators. However, in real applications, the marginal (global) and conditional (local) distributions between domains are often contributing differently to the adaptation. There is currently no method to dynamically and quantitatively evaluate the relative importance of these two distributions for adversarial learning. In this paper, we propose a novel Dynamic Adversarial Adaptation Network (DAAN) to dynamically learn domain-invariant representations while quantitatively evaluate the relative importance of global and local domain distributions. To the best of our knowledge, DAAN is the first attempt to perform dynamic adversarial distribution adaptation for deep adversarial learning. DAAN is extremely easy to implement and train in real applications. We theoretically analyze the effectiveness of DAAN, and it can also be explained in an attention strategy. Extensive experiments demonstrate that DAAN achieves better classification accuracy compared to state-of-the-art deep and adversarial methods. Results also imply the necessity and effectiveness of the dynamic distribution adaptation in adversarial transfer learning.

研究の動機と目的

• 従来の敵対的ドメイン適応手法が、マージナル分布と条件付き分布に固定または静的な重要性を与えるという限界に対処すること。
• 敵対的訓練中に、グローバルおよびローカルドメイン乖離の相対的寄与を動的にかつ定量的に評価できる手法を開発すること。
• 実世界のドメイン適応シナリオにおいて、一般化性能およびロバスト性が向上するドメイン不変特徴のエンドツーエンド学習を可能にすること。
• 標準的なディープラーニングライブラリと互換性があり、標準の敵対的訓練に追加するハイパーパrameterが最小限の、計算的に効率的で容易に実装可能なフレームワークを提供すること。

提案手法

• 敵対的訓練中にマージナルおよび条件付きドメイン分布の寄与を動的にバランスするための動的敵対的要因 ω を導入する。
• グローバルおよびローカル分布のドメイン識別器損失の重み付き組み合わせとして敵対的損失を定式化し、ω をバックプロパゲーションによりエンドツーエンドで学習する。
• 確率的勾配降下法（SGD）を用いて、特徴抽出器、分類器、および動的要因 ω を一度の訓練パイプラインで同時に最適化する。
• 相対的発散に基づいて、動的要因 ω を微分可能で学習可能なパラメータとして実装し、変化させる。
• 標準的なディープラーニングフレームワークと互換性があり、標準の敵対的訓練に追加するハイパーパrameterは必要ない。
• 動的要因 ω は訓練中に更新され、グローバルとローカル分布の整合性の現在の重要性を反映するため、適応的ドメイン適応が可能になる。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、敵対的適応中に、マージナルおよび条件付きドメイン分布の相対的重要性を動的かつ定量的に評価できるか？
• RQ2 グローバルおよびローカルドメイン乖離の動的バランスは、固定または等重みのアプローチと比較して、より優れた一般化性能と高い分類精度をもたらすか？
• RQ3 提案手法は、計算効率と実装の容易さを維持しながら、最先端の性能を達成できるか？
• RQ4 未知のターゲットドメインにおいて、グローバルとローカル分布の寄与が事前に不明である場合でも、動的敵対的要因 ω は効果的に適応可能か？

主な発見

• DAAN は Office-Home データセットで 61.8% の精度を達成し、DANN（57.6%）および JAN（58.3%）を大きく上回った。
• アブレーションスタディにより、等重み（JAN、ω=0.5）や固定重み（DANN、ω=0；MADA、ω=1）は最適でないことが確認され、動的適応の必要性が裏付けられた。
• t-SNE を用いた特徴可視化により、DAAN は JAN よりもソースドメインとターゲットドメイン間でよりよく整合され、より判別力のある表現を学習していることが示された。
• 動的要因 ω は 20 エポック以内に安定して収束し、高速かつ信頼性の高い訓練行動を示した。
• MEDA よりも速く収束し、安定した ω 値に到達したため、訓練効率が向上したことが示された。
• 理論的および実験的結果により、敵対的ドメイン適応において、分布重要性の動的評価が必須かつ有効であることが確認された。