[論文レビュー] Conditional Adversarial Domain Adaptation

Mingsheng Long, Zhangjie Cao+2 more|arXiv (Cornell University)|May 26, 2017

Domain Adaptation and Few-Shot Learning被引用数 1,428

ひとこと要約

CDAN は特徴と分類器予測の間の共分散を利用しエントロピー条件付きオプションを組み込んだ条件付き対立的領域識別器を提案し、マルチモーダルな領域分布を整合化して、いくつかのベンチマークで最先端の結果を達成します。

ABSTRACT

Adversarial learning has been embedded into deep networks to learn disentangled and transferable representations for domain adaptation. Existing adversarial domain adaptation methods may not effectively align different domains of multimodal distributions native in classification problems. In this paper, we present conditional adversarial domain adaptation, a principled framework that conditions the adversarial adaptation models on discriminative information conveyed in the classifier predictions. Conditional domain adversarial networks (CDANs) are designed with two novel conditioning strategies: multilinear conditioning that captures the cross-covariance between feature representations and classifier predictions to improve the discriminability, and entropy conditioning that controls the uncertainty of classifier predictions to guarantee the transferability. With theoretical guarantees and a few lines of codes, the approach has exceeded state-of-the-art results on five datasets.

研究の動機と目的

• ドメイン分布が多モードで多様な場合に頑健なドメイン適応を動機づける。
• 分類器の予測をガイドとして領域整合を行う条件付き対立的フレームワークを提案する。
• クロスドメイン特徴-クラスの依存関係と不確実性をモデル化するためのマルチライン性とエントロピー条件付けを導入する。
• CDAN の理論的な一般化保証をドメイン適応理論の下で提供する。
• 複数のベンチマークデータセットで最先端手法を上回る実証的改善を示す。

提案手法

• 条件付きドメイン対立ネットワーク (CDAN) を、ジョイント特徴・クラス表現 h=(f,g) に条件付けられたドメイン識別器 D によるミニマックスゲームとして定義する。
• 特徴と予測の間のクロス共分散を捉えるマルチライン性の条件付け写像 f ⊗ g を用い、高次元性のためのランダム近似 T⊙ を適用する。
• 任意でエントロピー条件付けを適用して、g の予測不確実性で例を重みづけする（CDAN+E）。
• 条件付けがマルチモーダル分布のモデリングに役立つこと、Δ距離に基づく解析を通じてターゲットリスクを上界することを証明する。
• 反復的な訓練スケジュールに基づくバックプロパゲーションを用いた線形時間トレーニング手法と、識別器の訓練を進行的に行う訓練スケジュールを提供する。

(a) Multilinear Conditioning

実験結果

リサーチクエスチョン

• RQ1 対立的なドメイン適応をどのように改善して、マルチモーダルで複雑な領域シフトを扱えるようにできるか。
• RQ2 分類器予測（およびその不確実性）で領域識別器を条件付けることで、より良い領域整合とターゲット性能を得られるか。
• RQ3 CDAN に対して領域適応理論の下で一般化境界を確立できるか。
• RQ4 マルチライン性とエントロピー条件付けは標準的なドメイン適応ベンチマークでどの程度の実証的改善をもたらすか。

主な発見

手法	A→W	D→W	W→D	A→D	D→A	W→A	平均
AlexNet	61.6 ± 0.5	95.4 ± 0.3	99.0 ± 0.2	63.8 ± 0.5	51.1 ± 0.6	49.8 ± 0.4	70.1
DAN	68.5 ± 0.5	96.0 ± 0.3	99.0 ± 0.3	67.0 ± 0.4	54.0 ± 0.5	53.1 ± 0.5	72.9
RTN	73.3 ± 0.3	96.8 ± 0.2	99.6 ± 0.1	71.0 ± 0.2	50.5 ± 0.3	51.0 ± 0.1	73.7
DANN	73.0 ± 0.5	96.4 ± 0.3	99.2 ± 0.3	72.3 ± 0.3	53.4 ± 0.4	51.2 ± 0.5	74.3
ADDA	73.5 ± 0.6	96.2 ± 0.4	98.8 ± 0.4	71.6 ± 0.4	54.6 ± 0.5	53.5 ± 0.6	74.7
JAN	74.9 ± 0.3	96.6 ± 0.2	99.5 ± 0.2	71.8 ± 0.2	58.3 ± 0.3	55.0 ± 0.4	76.0
CDAN	77.9 ± 0.3	96.9 ± 0.2	100.0 ± 0.0	75.1 ± 0.2	54.5 ± 0.3	57.5 ± 0.4	77.0
CDAN+E	78.3 ± 0.2	97.2 ± 0.1	100.0 ± 0.0	76.3 ± 0.1	57.3 ± 0.2	57.3 ± 0.3	77.7
ResNet-50	68.4 ± 0.2	96.7 ± 0.1	99.3 ± 0.1	68.9 ± 0.2	62.5 ± 0.3	60.7 ± 0.3	76.1
DAN	80.5 ± 0.4	97.1 ± 0.2	99.6 ± 0.1	78.6 ± 0.2	63.6 ± 0.3	62.8 ± 0.2	80.4
RTN	84.5 ± 0.2	96.8 ± 0.1	99.4 ± 0.1	77.5 ± 0.3	66.2 ± 0.2	64.8 ± 0.3	81.6
DANN	82.0 ± 0.4	96.9 ± 0.2	99.1 ± 0.1	79.7 ± 0.4	68.2 ± 0.4	67.4 ± 0.5	82.2
ADDA	86.2 ± 0.5	96.2 ± 0.3	98.4 ± 0.3	77.8 ± 0.3	69.5 ± 0.4	68.9 ± 0.5	82.9
JAN	85.4 ± 0.3	97.4 ± 0.2	99.8 ± 0.2	84.7 ± 0.3	68.6 ± 0.3	70.0 ± 0.4	84.3

• CDAN は五つのベンチマークデータセットで最先端の結果を超えた。
• マルチライン性の条件付けにより、特徴と予測の間のクロス共分散を捉え、マルチモーダル分布をより適切にモデル化できる。
• エントロピー条件付けは転送性を高める、転送しやすい例を優先する（CDAN+E）。
• Office-31 および他データセットの実験では、DANN、JAN、ADDA などのベースラインに対して大幅な精度向上を示した。
• 本論文は、共同分布間の Δ距離境界に関する一般化誤差解析を提供する。

(b) Randomized Multilinear Conditioning