[論文レビュー] Multiple Source Domain Adaptation with Adversarial Training of Neural Networks

Han Zhao, Shanghang Zhang+4 more|arXiv (Cornell University)|May 26, 2017

Domain Adaptation and Few-Shot Learning参考文献 35被引用数 31

ひとこと要約

本稿では、複数のソースドメインからの適応を可能にする新しい深層学習フレームワーク、マルチソースドメイン adversarial ネットワーク（MDANs）を提案する。この手法は、敵対的訓練を用いてドメイン不変かつタスクに特徴的な特徴表現を学習する。DANNフレームワークを複数のソースドメインに一般化し、ターゲット分布の専門的知識を必要としない新たに導出された一般化バウンドを最小化することで、感情分析、数字認識、車両数え上げタスクにおいて最先端の性能を達成する。

ABSTRACT

While domain adaptation has been actively researched in recent years, most theoretical results and algorithms focus on the single-source-single-target adaptation setting. Naive application of such algorithms on multiple source domain adaptation problem may lead to suboptimal solutions. As a step toward bridging the gap, we propose a new generalization bound for domain adaptation when there are multiple source domains with labeled instances and one target domain with unlabeled instances. Compared with existing bounds, the new bound does not require expert knowledge about the target distribution, nor the optimal combination rule for multisource domains. Interestingly, our theory also leads to an efficient learning strategy using adversarial neural networks: we show how to interpret it as learning feature representations that are invariant to the multiple domain shifts while still being discriminative for the learning task. To this end, we propose two models, both of which we call multisource domain adversarial networks (MDANs): the first model optimizes directly our bound, while the second model is a smoothed approximation of the first one, leading to a more data-efficient and task-adaptive model. The optimization tasks of both models are minimax saddle point problems that can be optimized by adversarial training. To demonstrate the effectiveness of MDANs, we conduct extensive experiments showing superior adaptation performance on three real-world datasets: sentiment analysis, digit classification, and vehicle counting.

研究の動機と目的

• 既存のドメイン適応手法が単一のソース・単一のターゲット設定に限定されているという限界に対処する。複数のソースドメインが利用可能な場合、このアプローチはしばしば最適でない結果をもたらす。
• ターゲットドメイン分布の事前知識や、ソースドメインの最適な組み合わせルールを必要としない、複数のソースドメイン適応のための新しい一般化バウンドを導出する。
• 敵対的ニューラルネットワークに基づく、効率的でデータ効率的かつタスクに適応可能な学習戦略を開発し、導出された一般化バウンドを最小化する。
• 自然言語処理、ビジョン、回帰を含む多様なタスクにおいて、実世界のデータセット上で提案手法の有効性を示す。

提案手法

• 仮説空間におけるドメインシフトを定量化するため、複数のソースドメインとターゲットドメイン間の一般化されたH-発散測度を提案する。
• 集中不等式とVC理論を用いて、ターゲットリスクのPACスタイルの一般化バウンドを導出し、複数のソースドメインからの経験的リスクによってバウンドを制御する。
• 2種類のMDANモデルを設計する：1つは導出された一般化バウンドを直接最適化するもの、もう1つはデータ効率性とタスク適応性を向上させる滑らか化近似である。
• ミニマックスサドルポイント最適化フレームワークを採用し、特徴抽出器がドメイン不変な表現を学習する一方で、ドメイン識別器はソースドメインとターゲットドメインを区別しようとする。
• 深層ニューラルネットワークを用いて、特徴抽出、ドメイン分類、タスク固有の学習を1つのエンドツーエンドの訓練プロセスに統合する。
• 敵対的訓練を用いて、複数のソースドメインにわたる特徴の不変性を強制するとともに、主タスクのための判別力を維持する。

実験結果

リサーチクエスチョン

• RQ1 ターゲット分布の専門的知識や、ソースドメインの最適な組み合わせルールを必要としない、複数のソースドメイン適応のための一般化バウンドを導出できるか？
• RQ2 敵対的訓練をどのように変更すれば、複数のドメインシフトに対して不変でありつつ、主タスクのための判別力を保つ特徴表現を学習できるか？
• RQ3 提案されたMDANフレームワークは、複数ソース設定において、既存の単一ソースドメイン適応手法を上回る性能を発揮するか？
• RQ4 ミニマックス訓練パラダイムにおいて、一般化バウンドを深層ニューラルネットワークを用いて効率的に近似・最適化できるか？
• RQ5 提案手法は、感情分析、数字認識、視覚的数え上げなどの多様な実世界タスクにおいて、ロバストで効果的であるか？

主な発見

• 提案された複数ソースドメイン適応のための一般化バウンドは、従来の単一ソースバウンドを一般化しており、ターゲット分布に関する仮定や、最適なソース組み合わせに関する仮定を必要としない。
• MDANフレームワーク、特にその滑らか化バージョンは、感情分析、数字認識、視覚的車両数え上げタスクにおいて、最先端のドメイン適応手法を上回る優れた性能を達成する。
• 実験により、適切な適応なしに複数のソースドメインを単純に組み合わせることは性能を低下させることが確認され、理論的洞察である「すべてのソースドメインが同等に有益であるわけではない」という仮説が裏付けられた。
• 敵対的訓練プロセスは、複数のソースドメインにわたる特徴表現の不変性を効果的に学習し、同時に主タスクのための高い判別力を維持できた。
• 滑らか化近似を導入した2番目のMDANモデルにより、特にデータが少ない状況でも、データ効率性とタスク適応性が向上した。
• MDANモデルはDANNフレームワークを複数のソースに一般化しており、1つのソースドメインのみが存在する場合、DANNに簡約され、理論的整合性が確認された。