[論文レビュー] Adversarial Discriminative Domain Adaptation

Eric Tzeng, Judy Hoffman+2 more|arXiv (Cornell University)|Feb 17, 2017

Domain Adaptation and Few-Shot Learning参考文献 16被引用数 454

ひとこと要約

ADDAは、識別的なソース表現、非共有（非対称）ターゲットマッピング、およびGANベースの対立的損失を特徴とする教師なしドメイン適応手法を導入し、クロスドメインの数字データセットとクロスモダリティのRGB-to-depthタスクで最先端の成果を達成する。

ABSTRACT

Adversarial learning methods are a promising approach to training robust deep networks, and can generate complex samples across diverse domains. They also can improve recognition despite the presence of domain shift or dataset bias: several adversarial approaches to unsupervised domain adaptation have recently been introduced, which reduce the difference between the training and test domain distributions and thus improve generalization performance. Prior generative approaches show compelling visualizations, but are not optimal on discriminative tasks and can be limited to smaller shifts. Prior discriminative approaches could handle larger domain shifts, but imposed tied weights on the model and did not exploit a GAN-based loss. We first outline a novel generalized framework for adversarial adaptation, which subsumes recent state-of-the-art approaches as special cases, and we use this generalized view to better relate the prior approaches. We propose a previously unexplored instance of our general framework which combines discriminative modeling, untied weight sharing, and a GAN loss, which we call Adversarial Discriminative Domain Adaptation (ADDA). We show that ADDA is more effective yet considerably simpler than competing domain-adversarial methods, and demonstrate the promise of our approach by exceeding state-of-the-art unsupervised adaptation results on standard cross-domain digit classification tasks and a new more difficult cross-modality object classification task.

研究の動機と目的

• ドメインシフトとデータセットバイアスの下で堅牢な教師なしドメイン適応の必要性を動機づける。
• 対立的ドメイン適応の統一フレームワークを提案し、設計上の選択を特定する。
• 非共有重みを持つ識別的なGANベースのインスタンスとしてADDAを導入する。
• クロスドメインの数字データセットとクロスモダリティのRGB-to-depthタスクにおけるADDAの有効性を示す。

提案手法

• 対立的な教師なし適応の一般化フレームワークを提示する。
• ソースとターゲットの符号化特徴を区別するドメイン識別器Dを用いる。
• ソースエンコーダM_sからの非共有重みを持つ非対称ターゲットエンコーダM_tを採用する。
• Dを欺くようにM_tを訓練するGAN風対立損失を適用する（ラベルを反転させたGAN損失）。
• ラベル付きソースデータでM_sと分類器C_sを初期化し、ターゲット適応中はM_sを固定する。
• 識別的モデリングのみで、画像空間のジェネレータを必要とせず十分であることを示す。

実験結果

リサーチクエスチョン

• RQ1 画像生成なしで、識別的・非対称・GANベースの適応フレームワークは競争力のある教師なしドメイン適応を達成できるか。
• RQ2 ソースとターゲットのエンコーダ間の重みの結合を解くことは、対称的な共有重みアプローチより適応を改善するか。
• RQ3 標準的なクロスドメインの数字シフトとクロスモダリティのRGB-to-depthシフトでADDAはどのように機能するか。
• RQ4 ドメイン適応の統一フレームワーク内で、さまざまな対立損失の影響は何か。

主な発見

• ADDAはMNIST、USPS、およびSVHNの3方向数字タスクにおいて最先端または競争力のある結果を達成する。
• MNIST→USPS、USPS→MNIST、SVHN→MNISTでは、それぞれ0.894±0.002、0.901±0.008、0.760±0.018を達成。
• NYU depth RGB-to-depthのクロスモダリティ適応では、平均精度が13.9%（ソースのみ）からADDA後に21.1%へ向上。
• ADDAは、ターゲットデータのラベル付けや画像空間ジェネレータを必要とせず、強力なクロスドメインおよびクロスモダリティ転送を示す。
• 本手法は複数のドメインシフトで競合する対立的アプローチを上回り、非対称マッピングの利点について洞察を提供する。