[论文解读] Dual Mixup Regularized Learning for Adversarial Domain Adaptation

Yuan Wu, Diana Inkpen+1 more|arXiv (Cornell University)|Jul 7, 2020

Domain Adaptation and Few-Shot Learning参考文献 30被引用 14

一句话总结

本文提出了一种新型无监督域自适应方法——双混元正则化学习（DMRL），通过在像素级别应用类别级和域级混元正则化，增强对抗性域自适应。通过强制预测一致性并丰富潜在空间结构，DMRL在四个基准测试中均取得最先进性能，包括在USPS→MNIST上达到99.0%的准确率，以及在MNIST→USPS上达到96.1%的准确率。

ABSTRACT

Recent advances on unsupervised domain adaptation (UDA) rely on adversarial learning to disentangle the explanatory and transferable features for domain adaptation. However, there are two issues with the existing methods. First, the discriminability of the latent space cannot be fully guaranteed without considering the class-aware information in the target domain. Second, samples from the source and target domains alone are not sufficient for domain-invariant feature extracting in the latent space. In order to alleviate the above issues, we propose a dual mixup regularized learning (DMRL) method for UDA, which not only guides the classifier in enhancing consistent predictions in-between samples, but also enriches the intrinsic structures of the latent space. The DMRL jointly conducts category and domain mixup regularizations on pixel level to improve the effectiveness of models. A series of empirical studies on four domain adaptation benchmarks demonstrate that our approach can achieve the state-of-the-art.

研究动机与目标

• 解决目标域自适应中缺乏类别感知信息的问题，该问题可能导致预测不一致。
• 克服因小批量SGD中批量大小不足而导致的域不变表示不足的局限性。
• 通过提升潜在空间的可分性和连续性，减少无监督域自适应中的域偏移。
• 通过联合利用类别混元和域混元，丰富内在特征结构，提升模型泛化能力。
• 通过有效的正则化，在多个无监督域自适应基准测试中实现最先进性能。

提出的方法

• 在源域和目标域上均应用类别级混元正则化，以强制预测一致性并提升潜在空间的可分性。
• 实施域级混元正则化，以在每个域内生成混合样本，丰富内部特征模式并促进域不变表示。
• 在像素级别同时执行两种混元正则化，以在增强训练数据的同时保留空间结构。
• 将两种正则化项整合到统一的对抗性训练框架中，包含域判别器和特征提取器。
• 使用可学习的超参数λs、λr、λt和α，在优化过程中平衡混元损失与对抗损失。
• 通过特征提取器与域判别器之间的极小化-极大化博弈进行模型训练，同时应用混元以提升特征泛化能力。

实验结果

研究问题

• RQ1 类别级混元正则化是否能提升无监督域自适应中潜在空间的可分性？
• RQ2 域级混元正则化是否能增强潜在空间的连续性和域不变性？
• RQ3 两种混元正则化如何协同作用以减少域偏移并提升泛化能力？
• RQ4 来自未标注目标域的类别感知信息对模型性能有何影响？
• RQ5 所提出方法对超参数设置（如α、λs、λr和λt）的敏感性如何？

主要发现

• DMRL在USPS→MNIST基准测试中达到99.0%的准确率，优于所有对比方法。
• 在MNIST→USPS任务中，DMRL达到96.1%的准确率，展现出在域偏移下的强大泛化能力。
• 消融研究证实，类别混元和域混元正则化均具有显著贡献，其中类别混元的影响更大。
• 移除未标注类别混元（UCM）导致性能明显下降，凸显了目标域类别感知信息的重要性。
• 参数敏感性分析表明，λt对性能有显著影响，最优准确率出现在λt=2.0时。
• 该方法对α、λs和λr的变化具有鲁棒性，使用默认值α=0.2、λs=0.0001、λr=0.00001时可实现稳定性能。