[論文レビュー] Multi-Adversarial Domain Adaptation

Zhongyi Pei, Zhangjie Cao+2 more|arXiv (Cornell University)|Sep 4, 2018

Domain Adaptation and Few-Shot Learning参考文献 35被引用数 89

ひとこと要約

MADA はソースとターゲットデータのクラス別ドメイン識別子を複数用意することで、細粒度で複数対戦的な整合を行い、従来の単一識別子手法に比べて教師なしドメイン適応を改善します。

ABSTRACT

Recent advances in deep domain adaptation reveal that adversarial learning can be embedded into deep networks to learn transferable features that reduce distribution discrepancy between the source and target domains. Existing domain adversarial adaptation methods based on single domain discriminator only align the source and target data distributions without exploiting the complex multimode structures. In this paper, we present a multi-adversarial domain adaptation (MADA) approach, which captures multimode structures to enable fine-grained alignment of different data distributions based on multiple domain discriminators. The adaptation can be achieved by stochastic gradient descent with the gradients computed by back-propagation in linear-time. Empirical evidence demonstrates that the proposed model outperforms state of the art methods on standard domain adaptation datasets.

研究の動機と目的

• データ分布のマルチモード構造を活用することによって、ドメイン適応におけるネガティブ転移を動機づけ、対処する。
• ソースとターゲットの間で細粒度の整合を可能にするため、複数のクラス別ドメイン識別子を用いるフレームワークを提案する。
• ラベル予測確率でドメイン識別子への入力を重み付けすることが転送性能を改善することを実証する。

提案手法

• 単一のドメイン識別子を K 個のクラス別識別子 G_d^k に分割し、各々がクラス k に属するデータを整合させる責任を持つ。
• ラベル予測器 G_y を用いて各サンプルのクラス確率 ŷ_i^k を生成し、各 G_d^k への入力を重み付けして、ソフトなアテンション様メカニズムを作る。
• ソース分類損失の最小化と、全 K 個の識別器の損失の重み付き和を同時に最適化する。
• 確率的勾配降下法と勾配反転機構を用いてドメイン混乱を促進しつつ、識別可能なクラス構造を保持して学習する。
• 深層ネットワークと互換性のある効率的な学習のために線形時間のバックプロパゲーションを提供する。

実験結果

リサーチクエスチョン

• RQ1 複数の識別器を通じてマルチモード（クラス別）構造を活用することは、ソースとターゲットの整合性を改善しますか？
• RQ2 クラス確率でドメイン識別子への入力を重み付けすることは、単一の識別子と比べてネガティブ転移を減らしますか？
• RQ3 標準ベンチマークにおいて、既存の深層ドメイン適応法と比べて MADA はどのように性能を発揮しますか？

主な発見

• MADA は教師なしドメイン適応において Office-31 および ImageCLEF-DA ベンチマークで最先端手法を上回る。
• ドメイン差分が大きい難しい転送タスクで顕著なゲインを示す（例: A→W, A→D, D→A, W→A）。
• アブレーションと堅牢性分析では、MADA は単一識別器法よりネガティブ転移を抑制し、安定した収束を維持する。
• 特徴可視化は、MADA が RevGrad よりも識別性が高くドメイン不変な特徴を生み出すことを示している。
• 複数の識別器間でパラメータを完全共有する共有戦略は性能を低下させ得ることが分かり、明示的にクラス別識別器を分ける必要性を支持する。
• Proxy A-distance 分析は、MADA の特徴が RevGrad や通常の ResNet 特徴よりもドメイン差を小さくすることを示している。