[论文解读] CLDA: Contrastive Learning for Semi-Supervised Domain Adaptation

Ankit Singh|arXiv (Cornell University)|Jun 30, 2021

Domain Adaptation and Few-Shot Learning参考文献 57被引用 12

一句话总结

该论文提出CLDA，一种用于半监督域自适应的对比学习框架，通过在源域和目标域中心向量之间进行类别级对比对齐，以及在原始图像与增强后的无标签目标图像之间进行实例级对比对齐，联合最小化域间和域内差异。CLDA在DomainNet、Office-Home和Office31基准上达到最先进性能，展示了在低样本目标标注场景下的优越泛化能力。

ABSTRACT

Unsupervised Domain Adaptation (UDA) aims to align the labeled source distribution with the unlabeled target distribution to obtain domain invariant predictive models. However, the application of well-known UDA approaches does not generalize well in Semi-Supervised Domain Adaptation (SSDA) scenarios where few labeled samples from the target domain are available. In this paper, we propose a simple Contrastive Learning framework for semi-supervised Domain Adaptation (CLDA) that attempts to bridge the intra-domain gap between the labeled and unlabeled target distributions and inter-domain gap between source and unlabeled target distribution in SSDA. We suggest employing class-wise contrastive learning to reduce the inter-domain gap and instance-level contrastive alignment between the original (input image) and strongly augmented unlabeled target images to minimize the intra-domain discrepancy. We have shown empirically that both of these modules complement each other to achieve superior performance. Experiments on three well-known domain adaptation benchmark datasets namely DomainNet, Office-Home, and Office31 demonstrate the effectiveness of our approach. CLDA achieves state-of-the-art results on all the above datasets.

研究动机与目标

• 解决在目标数据标注有限的半监督域自适应（SSDA）设置下，无监督域自适应（UDA）方法泛化能力差的问题。
• 在SSDA中同时减少域间差异（源域与目标域之间）和域内差异（已标注与未标注目标样本之间）。
• 开发一种单阶段、端到端的对比学习框架，以提升特征可分性和域不变性。
• 研究在不同数据和增强设置下，对比学习组件——类别级对齐与实例级对齐——的有效性。
• 在低样本目标标注场景下，验证框架对噪声标签的鲁棒性及对超参数的敏感性。

提出的方法

• 通过优化同一类别在源域和目标域中的类别中心向量之间的相似性，同时最大化不同类别中心向量之间的距离，实现域间对比对齐。
• 通过鼓励未标注目标图像的原始视图与强增强视图之间的特征一致性，实现实例级对比对齐。
• 使用动量更新的编码器生成用于对比学习的目标特征，以稳定训练并提升表示质量。
• 利用模型预测为未标注目标样本生成伪标签，以支持类别级对比学习，并在训练过程中定期更新。
• 将两种对比目标整合到统一的训练目标中，使用可学习的加权超参数（α 和 β）来平衡两个组件。
• 采用RandAugment结合灰度化增强作为强增强策略，以提升实例级对比学习中的特征鲁棒性。

实验结果

研究问题

• RQ1 对比学习能否有效减少半监督域自适应中的域间与域内差异？
• RQ2 将类别级对比对齐与实例级对比对齐相结合，如何提升在低样本目标标注场景下的模型泛化能力？
• RQ3 不同增强策略对实例级对比对齐在SSDA中性能的影响如何？
• RQ4 所提出的框架在目标域标注数据有限且存在噪声标签的情况下是否具有鲁棒性？
• RQ5 在CLDA中，平衡两种对比目标的超参数（如α、β、μ）的最优配置是什么？

主要发现

• CLDA在三个基准数据集——DomainNet、Office-Home和Office31上均达到最先进性能，优于现有SSDA方法。
• 在3-shot的Office-Home Rl→Pr任务中，CLDA达到72.4%的测试准确率，当使用RandAugment结合灰度化增强而非简单水平翻转时，性能提升4%。
• 消融实验表明，若移除实例级对比对齐，准确率从72.4%降至70.7%，证实其在性能中的关键作用。
• 若使用K-means生成伪标签而非模型预测，准确率从72.4%降至71.2%，表明基于模型的伪标签更具优势。
• 框架对噪声标签具有鲁棒性，在Pr→Ar 1-shot任务中，当25%的目标标签被错误标注时，准确率仅下降0.5%。
• 超参数分析显示，α = 4 和 μ = 4 时性能最优，当偏离这些值时性能下降。