[論文レビュー] Generate To Adapt: Aligning Domains using Generative Adversarial Networks

Swami Sankaranarayanan, Yogesh Balaji+2 more|arXiv (Cornell University)|Apr 6, 2017

Domain Adaptation and Few-Shot Learning参考文献 34被引用数 27

ひとこと要約

この論文は、共役的に訓練された特徴エンコーダと生成的対抗ネットワークを統合的に学習させることで、ソースドメインとターゲットドメインの分布を一致させるGANベースのドメイン適応手法を提案する。従来の手法とは異なり、GANを用いてデータ生成と再訓練を行うのではなく、直接的に特徴空間を最適化することで、数字認識、オブジェクト認識（OFFICE）、および合成データから実データへの適応といった多様なタスクで最先端の性能を達成する。

ABSTRACT

Domain Adaptation is an actively researched problem in Computer Vision. In this work, we propose an approach that leverages unsupervised data to bring the source and target distributions closer in a learned joint feature space. We accomplish this by inducing a symbiotic relationship between the learned embedding and a generative adversarial network. This is in contrast to methods which use the adversarial framework for realistic data generation and retraining deep models with such data. We demonstrate the strength and generality of our approach by performing experiments on three different tasks with varying levels of difficulty: (1) Digit classification (MNIST, SVHN and USPS datasets) (2) Object recognition using OFFICE dataset and (3) Domain adaptation from synthetic to real data. Our method achieves state-of-the art performance in most experimental settings and by far the only GAN-based method that has been shown to work well across different datasets such as OFFICE and DIGITS.

研究の動機と目的

• データ分布の違いにより生じるドメインシフトの課題に対処すること。
• 生成されたデータと再訓練に依存する従来のドメイン適応手法の限界を克服し、直接的な特徴空間の一致を実現すること。
• 生成的対抗ネットワークをデータ合成の目的ではなく、特徴表現の一致を向上させるために活用する統合的フレームワークの構築。
• 合成から実データへの適応やクロスデータセットのシナリオを含む、多様で挑戦的なドメイン適応ベンチマークで最先端の性能を達成すること。

提案手法

• 深層特徴エンコーダと生成的対抗ネットワークが共役的に進化するフレームワークを導入し、共通の埋め込み空間においてソースドメインとターゲットドメインの特徴を一致させる。
• 生成器を、ソースドメインの特徴をターゲットドメインに類似した特徴へマッピングするように学習させ、識別器を実際のターゲット特徴と生成された特徴を区別するように訓練する。
• 敵対的損失を用いて、生成された特徴が潜在空間においてターゲットドメインの特徴と区別できないように促進する。
• ドメイン識別器を用いて、実際のソース特徴と生成されたターゲットに類似した特徴間のドメイン差を最小化するように特徴エンコーダを最適化する。
• 分類損失、敵対的損失、ドメイン一致項を組み合わせた多目的損失を用いて、エンコーダとGANを同時に学習する。
• 再訓練のためのデータ生成を回避し、代わりにGANを直接的に特徴表現の最適化に用いることで、エンドツーエンドのドメイン適応を実現する。

実験結果

リサーチクエスチョン

• RQ1 生成されたトレーニングデータを生成せずに、生成的対抗ネットワークを用いてソースドメインとターゲットドメインの特徴分布を効果的に一致させることができるか？
• RQ2 GANと特徴エンコーダを共役的に訓練する手法は、従来のGANベースのデータ拡張手法と比較して、ドメイン適応においてどのように異なるか？
• RQ3 提案手法は、クロスデータセットの数字認識や合成から実データへの適応といった多様なドメインシフトのシナリオに一般化可能か？
• RQ4 データ生成に依存せずに、OFFICE や DIGITS のような標準ベンチマークで最先端の性能を達成できるか？

主な発見

• 提案手法は、MNIST、SVHN、USPS データセットを用いた数字認識タスクで最先端の性能を達成した。
• オブジェクト認識タスクにおけるOFFICEデータセットでも、既存のGANベース手法を上回り、ドメインシフトに強い一般化性能を示した。
• ドメインギャップが特に大きい合成から実データへのドメイン適応において、最高の性能を達成した。
• OFFICE や DIGITS を含む多様なデータセットで有効に機能することが実証された唯一のGANベース手法であり、広範な適用可能性を示している。