[論文レビュー] Adversarial Transfer Learning.

Garrett Wilson, Diane J. Cook|arXiv (Cornell University)|Dec 6, 2018

Domain Adaptation and Few-Shot Learning参考文献 714被引用数 11

ひとこと要約

本稿は、教師ありソースデータと教師なしターゲットデータを用いて一般化性能を向上させる、単一ソースで非教師ありドメイン適応のための敵対的転移学習手法について包括的なサーベイを提示する。手法の比較、共通および固有の構成要素の同定、さまざまな応用分野における理論的知見と実験的結果の統合が行われる。

ABSTRACT

Deep learning has produced state-of-the-art results for a variety of tasks. While such approaches for supervised learning have performed well, they assume that training and testing data are drawn from the same distribution, which may not always be the case. As a complement to this challenge, single-source unsupervised domain adaptation can handle situations where a network is trained on labeled data from a source domain and unlabeled data from a related but different target domain with the goal of performing well at test-time on the target domain. Many single-source and typically homogeneous unsupervised deep domain adaptation approaches have thus been developed, combining the powerful, hierarchical representations from deep learning with domain adaptation to reduce reliance on potentially-costly target data labels. This survey will compare these approaches by examining alternative methods, the unique and common elements, results, and theoretical insights. We follow this with a look at application areas and open research directions.

研究の動機と目的

• トレーニングデータとテストデータの分布が異なるドメインシフトの課題に対処すること。
• 単一ソースで非教師ありドメイン適応のための既存の敵対的転移学習アプローチをサーベイすること。
• アーキテクチャ設計と損失関数を含む、手法間の共通および固有の構成要素を同定すること。
• 実験的結果と理論的知見を統合し、今後の研究をガイドすること。
• 応用分野を強調し、ドメイン適応分野における未解決の研究課題を提示すること。

提案手法

• ドメイン敵対的訓練と特徴の整合性に着目した、既存の敵対的転移学習手法のサーベイと分類。
• 深層ニューラルネットワークとドメイン適応技術の統合を分析し、ターゲットデータのラベル依存性を低減すること。
• ドメイン識別器ネットワークや敵対的損失関数といった共通構成要素の検討。
• アーキテクチャ、最適化目的、ドメイン整合戦略の観点から手法を比較。
• ドメインシフト低減と一般化性能の間の理論的基盤をレビュー。
• ベンチマークデータセットと応用分野における性能評価を通じて、トレンドと制限要因を同定。

実験結果

リサーチクエスチョン

• RQ1 ドメイン適応における敵対的転移学習手法を特徴づける主なアーキテクチャ的および損失関数的構成要素は何か？
• RQ2 ターゲットラベルが利用できない状況で、敵対的ドメイン適応手法はどのようにモデルの一般化性能を向上させるか？
• RQ3 この分野における最先端手法間で共通し、また固有の設計選択は何か？
• RQ4 敵対的訓練がドメインシフトを低減する理由を説明する理論的知見は何か？
• RQ5 多様なドメインやタスクにスケーリング・一般化するための未解決の課題は何か？

主な発見

• 敵対的ドメイン適応手法は、ソースドメインとターゲットドメイン間の特徴分布を整合させることで、ドメインシフトを顕著に低減する。
• ドメイン識別器と敵対的訓練の使用により、ターゲットラベルがなくても効果的な特徴レベルのドメイン整合が可能になる。
• 多くの手法が敵対的損失やドメイン不変特徴学習といったコアな構成要素を共有しているが、アーキテクチャは多様である。
• 実験的結果では、ドメインシフトが中程度から高い場合に、標準ベンチマークで一貫した性能向上が確認された。
• 理論的分析により、ドメイン敵対的訓練がソースドメインとターゲットドメインの分布間の乖離を最小化することが示された。
• コンピュータビジョンや自然言語処理などの応用分野では、これらの手法の広範な有用性が示された。