[论文解读] Contrastively Smoothed Class Alignment for Unsupervised Domain Adaptation

Shuyang Dai, Yu Cheng+4 more|arXiv (Cornell University)|Sep 11, 2019

Domain Adaptation and Few-Shot Learning参考文献 49被引用 8

一句话总结

本文提出了一种新型无监督域自适应方法——对比平滑类对齐（CoSCA），通过联合优化类内与类间平滑的对比损失以及最大均值差异（MMD）以实现全局域对齐，从而增强特征对齐。CoSCA 通过改进类条件对齐和更平滑的决策边界，学习更具判别性的特征，在多个基准测试中实现了最先进性能。

ABSTRACT

Recent unsupervised approaches to domain adaptation primarily focus on minimizing the gap between the source and the target domains through refining the feature generator, in order to learn a better alignment between the two domains. This minimization can be achieved via a domain classifier to detect target-domain features that are divergent from source-domain features. However, by optimizing via such domain classification discrepancy, ambiguous target samples that are not smoothly distributed on the low-dimensional data manifold are often missed. To solve this issue, we propose a novel Contrastively Smoothed Class Alignment (CoSCA) model, that explicitly incorporates both intra- and inter-class domain discrepancy to better align ambiguous target samples with the source domain. CoSCA estimates the underlying label hypothesis of target samples, and simultaneously adapts their feature representations by optimizing a proposed contrastive loss. In addition, Maximum Mean Discrepancy (MMD) is utilized to directly match features between source and target samples for better global alignment. Experiments on several benchmark datasets demonstrate that CoSCA can outperform state-of-the-art approaches for unsupervised domain adaptation by producing more discriminative features.

研究动机与目标

• 为解决现有无监督域自适应方法在决策边界附近难以平滑模糊目标样本的问题。
• 通过建模类内与类间差异，改善源域与目标域之间类条件特征分布的对齐。
• 通过将对比学习与 MMD 的全局域对齐相结合，提升特征判别性与训练稳定性。
• 克服低维空间中非平滑特征流形导致的次优解问题。
• 通过端到端对抗训练结合对比损失与 MMD 损失，在标准 UDA 基准上实现最先进性能。

提出的方法

• CoSCA 引入一种对比损失，促使决策边界附近的模糊目标样本向其类条件邻近样本靠近，远离非邻近样本。
• 该方法联合优化对比损失与最大均值差异（MMD）损失，以强制对齐源域与目标域的特征分布。
• 采用最小-最大对抗框架，其中特征生成器被训练以欺骗域判别器，同时通过差异最大化提升分类器的一致性。
• 模型为目标样本估计潜在的标签假设，并以对比方式细化其特征表示，形成更紧密、更平滑的聚类。
• 框架采用小批量优化进行端到端训练，结合对抗学习与对比及 MMD 正则化。
• 该方法显式建模潜在空间中的类内紧凑性与类间分离性，以提升对齐效果与泛化能力。

实验结果

研究问题

• RQ1 对比学习能否提升无监督域自适应中类条件对齐的平滑性？
• RQ2 将对比平滑与全局 MMD 对齐相结合，是否能带来更好的特征判别性与性能表现？
• RQ3 CoSCA 在标准 UDA 基准上相较于 MCD 和 DAS 等最先进方法表现如何？
• RQ4 对比对齐与 MMD 损失在提升模型鲁棒性与收敛性方面各贡献多少？
• RQ5 所提方法能否缓解位于非平滑流形上的模糊目标样本的误分类问题？

主要发现

• 在 Amazon Reviews 数据集上，CoSCA 的测试准确率达到 83.17%，优于此前最先进方法 DAS（81.96%），提升 1.21 个百分点。
• 在 MNIST → SVHN 基准上，CoSCA 达到 80.7% 的准确率，较 MCD 提升 11.9 个百分点，较 MCD+Contras 提升 4.8 个百分点。
• 消融实验表明，在 MCD 上添加对比损失可使 MNIST → SVHN 的性能提升 7.2 个百分点，证明其在平滑类边界方面的有效性。
• MMD 损失有助于全局对齐，在 MNIST → SVHN 上使 MCD 性能提升 3.4 个百分点，但在领域差异较小的数据集上增益较小。
• CoSCA 展现出更优的训练稳定性和收敛性，验证准确率曲线相比基线更平稳地上升。
• 对比平滑与 MMD 的结合带来了更具判别性的特征，这一点在所有评估基准上均得到性能提升的证实。