[论文解读] Bridging Theory and Algorithm for Domain Adaptation

Yuchen Zhang, Tianle Liu+2 more|arXiv (Cornell University)|Apr 11, 2019

Domain Adaptation and Few-Shot Learning参考文献 46被引用 229

一句话总结

本文将领域自适应理论扩展到具有边距损失的多类别评分函数，通过引入 Margin Disparity Discrepancy (MDD) 并推导出泛化界限；随后将理论转化为对抗学习算法，在标准基准测试上实现了最先进的结果。

ABSTRACT

This paper addresses the problem of unsupervised domain adaption from theoretical and algorithmic perspectives. Existing domain adaptation theories naturally imply minimax optimization algorithms, which connect well with the domain adaptation methods based on adversarial learning. However, several disconnections still exist and form the gap between theory and algorithm. We extend previous theories (Mansour et al., 2009c; Ben-David et al., 2010) to multiclass classification in domain adaptation, where classifiers based on the scoring functions and margin loss are standard choices in algorithm design. We introduce Margin Disparity Discrepancy, a novel measurement with rigorous generalization bounds, tailored to the distribution comparison with the asymmetric margin loss, and to the minimax optimization for easier training. Our theory can be seamlessly transformed into an adversarial learning algorithm for domain adaptation, successfully bridging the gap between theory and algorithm. A series of empirical studies show that our algorithm achieves the state of the art accuracies on challenging domain adaptation tasks.

研究动机与目标

• 将领域自适应理论扩展到带有评分函数和边距损失的多类别分类问题。
• 引入 Margin Disparity Discrepancy (MDD) 及关注边距的泛化界限。
• 提供一个实用的对抗学习算法，最小化用于领域自适应的 MDD。
• 在标准基准上展示最先进的实证性能。

提出的方法

• 定义基于边距的差异度（MDD），通过源边距误差和分布差异来上界目标误差。
• 利用 Rademacher 复杂度和覆盖数为多类领域自适应中的 MDD 构建泛化界限。
• 构建一个极小极大优化问题，其中特征提取器和分类器在经验边距损失和 MDD 上进行最小化，辅助分类器最大化边距-差异。
• 实现一个带梯度反向传递层的对抗网络，以优化表示以降低 MDD。
• 使用组合交叉熵损失来近似边距式目标以便实际优化。
• 提供边距参数 gamma（exp(rho)）来控制基于边距的差异并与对抗博弈的均衡相关。

实验结果

研究问题

• RQ1 如何将边距损失整合到多类问题的领域自适应理论中？
• RQ2 基于边距的差异度（MDD）是否能提供比传统领域自适应中的散度更紧凑、可训练的泛化界限？
• RQ3 围绕 MDD 构建的对抗算法是否在标准领域自适应基准上达到最先进的准确率？
• RQ4 在实践中边距水平（rho）与泛化/优化之间的权衡是什么？

主要发现

Method	A→W	D→W	W→D	A→D	D→A	W→A	Avg
MDD (Proposed)	94.5	98.4	100.0	93.5	74.6	72.2	88.9

• MDD 在 Office-31 上达到最先进的准确率，在多项迁移任务上超过多个基线方法。
• 在 Office-31 上，MDD 达到平均准确率 88.9%，相较于竞争方法。
• 在 Office-Home 上，MDD 相对于此前的方法取得显著提升（如表 2所示）。
• 在 VisDA-2017 上，MDD 实现 74.6% 的准确率（Synthetic→Real），高于 JAN、MCD、GTA 和 CDAN 基线。
• 提出的基于边距的理论产生了实用的对抗学习算法，在跨越多样化域移位的情形下具有与之竞争甚至更优的经验表现。