[论文解读] Adversarial Domain Adaptation with Domain Mixup

Minghao Xu, Jian Zhang+5 more|arXiv (Cornell University)|Dec 4, 2019

Domain Adaptation and Few-Shot Learning参考文献 44被引用 8

一句话总结

本文提出 DM-ADA，一种通过在像素和特征层面引入领域混合（domain mixup）来增强对抗性训练的领域自适应方法，结合软标签和三元组损失，构建更连续的领域不变潜在空间。该方法在 VisDA-2017 和 Office-31 基准测试中实现最先进性能，尤其在高领域偏移情况下，通过提升判别器泛化能力和特征鲁棒性实现显著改进。

ABSTRACT

Recent works on domain adaptation reveal the effectiveness of adversarial learning on filling the discrepancy between source and target domains. However, two common limitations exist in current adversarial-learning-based methods. First, samples from two domains alone are not sufficient to ensure domain-invariance at most part of latent space. Second, the domain discriminator involved in these methods can only judge real or fake with the guidance of hard label, while it is more reasonable to use soft scores to evaluate the generated images or features, i.e., to fully utilize the inter-domain information. In this paper, we present adversarial domain adaptation with domain mixup (DM-ADA), which guarantees domain-invariance in a more continuous latent space and guides the domain discriminator in judging samples' difference relative to source and target domains. Domain mixup is jointly conducted on pixel and feature level to improve the robustness of models. Extensive experiments prove that the proposed approach can achieve superior performance on tasks with various degrees of domain shift and data complexity.

研究动机与目标

• 为解决现有对抗性领域自适应方法依赖硬标签且无法保证连续领域不变表示的局限性。
• 通过使用软分数而非二元标签，提升领域判别器对样本与源域和目标域相似性的评估能力。
• 通过在像素和特征层面混合源域和目标域样本，增强跨领域交互以丰富特征模式。
• 在复杂数据分布和高领域偏移下，提升模型的泛化能力和鲁棒性。

提出的方法

• 通过线性插值源域和目标域图像并引入混合比率 λ，实现像素级领域混合。
• 通过插值两个领域中的深层特征，实现特征级混合，生成中间潜在表示。
• 使用软标签（即混合比率）作为领域判别器的监督信号，使其输出概率分数而非硬标签 0/1。
• 采用具有灵活边距的三元组损失，指导领域判别器学习混合样本与源/目标域之间的相对领域差异。
• 引入分类分支（D_cls）和伪目标标签，以在领域对齐过程中保留类别信息。
• 采用基于 GAN 的框架，端到端联合优化特征提取器、领域判别器和分类头。

实验结果

研究问题

• RQ1 在潜在空间中，像素和特征层面的领域混合是否能提升领域不变表示的连续性？
• RQ2 与硬标签相比，使用软标签（混合比率）是否能增强领域判别器区分领域差异的能力？
• RQ3 具有灵活边距的三元组损失如何改善领域判别器的收敛性和性能？
• RQ4 联合使用像素级和特征级混合，在高领域偏移和复杂数据分布下，对泛化能力的提升程度如何？
• RQ5 所提出方法对超参数 ω 和 φ 的敏感度如何？是否可在不同任务中固定其取值？

主要发现

• 在 VisDA-2017 基准上，DM-ADA 在所有自适应方法中取得最高分类准确率，显著优于 ImageNet 预训练的 ResNet-101 基线模型。
• 仅使用特征级混合即可通过构建更连续的领域不变潜在空间提升性能，而像素级混合进一步通过使判别器输出更精细的软分数来增强结果。
• 三元组损失与领域混合的结合在 t-SNE 可视化中展现出最清晰的类别分离，表明特征解耦能力得到改善。
• 引入分类分支（D_cls）和伪目标标签使准确率提升 1.7%，证明其在保留类别感知领域对齐方面的有效性。
• 该方法对超参数变化具有鲁棒性，在所有 Office-31 任务中，当 ω ≈ 0.1 且 φ ≈ 0.01 时性能稳定。
• 敏感性分析表明，迁移性能在 ω 和 φ 的广泛取值范围内保持强劲，表明超参数调优具有实际可行性。