[论文解读] Conditional Adversarial Domain Adaptation

Mingsheng Long, Zhangjie Cao+2 more|arXiv (Cornell University)|May 26, 2017

Domain Adaptation and Few-Shot Learning被引用 1,428

一句话总结

CDAN 引入一个条件对抗域判别器，利用特征与分类器预测之间的跨协方差（带熵条件选项）来对齐多模态域分布，在若干基准数据集上实现了与最优方法并列的结果。

ABSTRACT

Adversarial learning has been embedded into deep networks to learn disentangled and transferable representations for domain adaptation. Existing adversarial domain adaptation methods may not effectively align different domains of multimodal distributions native in classification problems. In this paper, we present conditional adversarial domain adaptation, a principled framework that conditions the adversarial adaptation models on discriminative information conveyed in the classifier predictions. Conditional domain adversarial networks (CDANs) are designed with two novel conditioning strategies: multilinear conditioning that captures the cross-covariance between feature representations and classifier predictions to improve the discriminability, and entropy conditioning that controls the uncertainty of classifier predictions to guarantee the transferability. With theoretical guarantees and a few lines of codes, the approach has exceeded state-of-the-art results on five datasets.

研究动机与目标

• 在域分布多模态且多样化时，激发鲁棒的域自适应。
• 提出一个利用分类器预测来引导域对齐的条件对抗框架。
• 引入多线性与熵条件化，以建立跨域特征-类别依赖与不确定性的建模。
• 在域自适应理论下，为 CDAN 提供理论泛化保证。
• 在多个基准数据集上展示相对于最先进方法的实证改进。

提出的方法

• 将 conditional domain adversarial network (CDAN) 定义为一个以联合特征-分类表示 h=(f,g) 为条件的域判别器 D 的极小极大博弈。
• 使用一个多线性条件映射 f ⊗ g 来捕捉特征与预测之间的跨协方差，并为高维性提供随机化近似 T⊙。
• 可选地应用熵条件来按 g 的预测不确定性对样本加权（CDAN+E）。
• 证明条件化有助于建模多模态分布，并通过 Δ-distance 基于分析来界定目标风险。
• 提供一个线性时间复杂度的训练方案，结合反向传播与判别器的渐进训练计划。

实验结果

研究问题

• RQ1 如何改进对抗域自适应以应对多模态和复杂的域移？
• RQ2 将域判别器条件化于分类器预测（及其不确定性）是否能获得更好的域对齐和目标性能？
• RQ3 在域自适应理论框架下，是否可以为 CDAN 建立一个理论上的泛化界？
• RQ4 在标准域自适应基准上，多线性与熵条件化带来的经验增益是多少？

主要发现

Method	A→W	D→W	W→D	A→D	D→A	W→A	Avg
AlexNet	61.6 ± 0.5	95.4 ± 0.3	99.0 ± 0.2	63.8 ± 0.5	51.1 ± 0.6	49.8 ± 0.4	70.1
DAN	68.5 ± 0.5	96.0 ± 0.3	99.0 ± 0.3	67.0 ± 0.4	54.0 ± 0.5	53.1 ± 0.5	72.9
RTN	73.3 ± 0.3	96.8 ± 0.2	99.6 ± 0.1	71.0 ± 0.2	50.5 ± 0.3	51.0 ± 0.1	73.7
DANN	73.0 ± 0.5	96.4 ± 0.3	99.2 ± 0.3	72.3 ± 0.3	53.4 ± 0.4	51.2 ± 0.5	74.3
ADDA	73.5 ± 0.6	96.2 ± 0.4	98.8 ± 0.4	71.6 ± 0.4	54.6 ± 0.5	53.5 ± 0.6	74.7
JAN	74.9 ± 0.3	96.6 ± 0.2	99.5 ± 0.2	71.8 ± 0.2	58.3 ± 0.3	55.0 ± 0.4	76.0
CDAN	77.9 ± 0.3	96.9 ± 0.2	100.0 ± 0.0	75.1 ± 0.2	54.5 ± 0.3	57.5 ± 0.4	77.0
CDAN+E	78.3 ± 0.2	97.2 ± 0.1	100.0 ± 0.0	76.3 ± 0.1	57.3 ± 0.2	57.3 ± 0.3	77.7
ResNet-50	68.4 ± 0.2	96.7 ± 0.1	99.3 ± 0.1	68.9 ± 0.2	62.5 ± 0.3	60.7 ± 0.3	76.1
DAN	80.5 ± 0.4	97.1 ± 0.2	99.6 ± 0.1	78.6 ± 0.2	63.6 ± 0.3	62.8 ± 0.2	80.4
RTN	84.5 ± 0.2	96.8 ± 0.1	99.4 ± 0.1	77.5 ± 0.3	66.2 ± 0.2	64.8 ± 0.3	81.6
DANN	82.0 ± 0.4	96.9 ± 0.2	99.1 ± 0.1	79.7 ± 0.4	68.2 ± 0.4	67.4 ± 0.5	82.2
ADDA	86.2 ± 0.5	96.2 ± 0.3	98.4 ± 0.3	77.8 ± 0.3	69.5 ± 0.4	68.9 ± 0.5	82.9
JAN	85.4 ± 0.3	97.4 ± 0.2	99.8 ± 0.2	84.7 ± 0.3	68.6 ± 0.3	70.0 ± 0.4	84.3

• CDAN 在五个基准数据集上超越了最先进的结果。
• 多线性条件化捕捉特征与预测之间的跨协方差，从而更好地建模多模态分布。
• 熵条件化优先考虑易于迁移的样本，提升迁移能力（CDAN+E）。
• 在 Office-31 及其他数据集上的实验显示相对于 DANN、JAN 和 ADDA 等基线有显著的准确性提升。
• 本文提供了一个泛化误差分析，将域判别器训练与联合分布之间的 Δ-距离界联系起来。