[论文解读] Multiple Source Domain Adaptation with Adversarial Training of Neural Networks

Han Zhao, Shanghang Zhang+4 more|arXiv (Cornell University)|May 26, 2017

Domain Adaptation and Few-Shot Learning参考文献 35被引用 31

一句话总结

本文提出多源域对抗网络（MDANs），一种新颖的深度学习框架，用于多源域自适应，通过对抗训练学习域不变但任务可区分的特征表示。该方法将DANN框架推广至多源域设置，在情感分析、数字分类和车辆计数任务中实现最先进性能，通过最小化新推导的一般化边界实现，且无需目标分布的先验知识。

ABSTRACT

While domain adaptation has been actively researched in recent years, most theoretical results and algorithms focus on the single-source-single-target adaptation setting. Naive application of such algorithms on multiple source domain adaptation problem may lead to suboptimal solutions. As a step toward bridging the gap, we propose a new generalization bound for domain adaptation when there are multiple source domains with labeled instances and one target domain with unlabeled instances. Compared with existing bounds, the new bound does not require expert knowledge about the target distribution, nor the optimal combination rule for multisource domains. Interestingly, our theory also leads to an efficient learning strategy using adversarial neural networks: we show how to interpret it as learning feature representations that are invariant to the multiple domain shifts while still being discriminative for the learning task. To this end, we propose two models, both of which we call multisource domain adversarial networks (MDANs): the first model optimizes directly our bound, while the second model is a smoothed approximation of the first one, leading to a more data-efficient and task-adaptive model. The optimization tasks of both models are minimax saddle point problems that can be optimized by adversarial training. To demonstrate the effectiveness of MDANs, we conduct extensive experiments showing superior adaptation performance on three real-world datasets: sentiment analysis, digit classification, and vehicle counting.

研究动机与目标

• 为解决现有域自适应方法仅关注单源单目标设置的局限性，此类方法在存在多个源域时往往表现次优。
• 推导适用于多源域自适应的新一般化边界，该边界不需依赖目标域分布的先验知识或源域的最优组合规则。
• 基于对抗神经网络，开发一种高效、数据高效且任务自适应的学习策略，以最小化所推导的一般化边界。
• 在涵盖自然语言处理、视觉和回归等多样任务的真实数据集上，验证所提方法的有效性。

提出的方法

• 提出一种广义的H-差异度量，用于量化假设空间中多个源域与目标域之间的域偏移。
• 利用集中不等式和VC理论，推导出目标风险的PAC风格一般化边界，通过多个源域的经验风险进行上界估计。
• 设计两种MDAN模型：一种直接优化所推导的一般化边界，另一种为平滑近似版本，以提升数据效率和任务适应性。
• 采用极大极小鞍点优化框架，其中特征提取器学习域不变表示，而域判别器则尝试区分源域与目标域。
• 将特征提取、域分类与任务特定学习整合为一个端到端的深度神经网络训练流程。
• 利用对抗训练强制学习到的特征在多个源域上保持不变，同时保留主任务的判别能力。

实验结果

研究问题

• RQ1 能否在不依赖目标分布先验知识或源域最优组合规则的前提下，推导出适用于多源域自适应的一般化边界？
• RQ2 如何将对抗训练方法适配于学习对多个域偏移保持不变，同时对主任务仍具判别力的特征表示？
• RQ3 所提出的MDAN框架在多源设置下是否优于现有单源域自适应方法？
• RQ4 所推导的一般化边界能否通过深度神经网络在极大极小训练范式中实现高效近似与优化？
• RQ5 所提方法在情感分析、数字识别和视觉计数等多样化真实任务中是否具备鲁棒性与有效性？

主要发现

• 所提出的多源域自适应一般化边界推广了先前的单源边界，且不需对目标分布或最优源组合做假设。
• MDAN框架，尤其是其平滑变体，在情感分析、数字分类和视觉车辆计数任务中，性能优于最先进域自适应方法。
• 实验结果表明，未经适当适应而简单组合多个源域可能降低性能，验证了理论洞察：并非所有源域都同等有益。
• 对抗训练过程成功学习到在多个源域上保持不变的特征表示，同时维持主任务的高判别能力。
• 由于第二阶段MDAN模型中的平滑近似，该方法在低数据场景下展现出更优的数据效率和任务适应性。
• MDAN模型将DANN框架推广至多源设置，当仅存在一个源域时，其退化为DANN，验证了理论一致性。