[论文解读] Con$^{2}$DA: Simplifying Semi-supervised Domain Adaptation by Learning Consistent and Contrastive Feature Representations

Manuel Pérez-Carrasco, Pavlos Protopapas+1 more|arXiv (Cornell University)|Apr 4, 2022

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

Con2DA 通过随机数据增强和归一化特征空间优化，提出了一种简单但高效的半监督域自适应（SSDA）框架，通过学习一致且对比性的特征表示。通过在弱增强和强增强视图之间强制特征一致性，并利用对比损失和自监督损失，该方法在 Office-31、Office-Home 和 DomainNet 上实现了最先进性能，准确率最高提升 1.4%。

ABSTRACT

In this work, we present Con$^{2}$DA, a simple framework that extends recent advances in semi-supervised learning to the semi-supervised domain adaptation (SSDA) problem. Our framework generates pairs of associated samples by performing stochastic data transformations to a given input. Associated data pairs are mapped to a feature representation space using a feature extractor. We use different loss functions to enforce consistency between the feature representations of associated data pairs of samples. We show that these learned representations are useful to deal with differences in data distributions in the domain adaptation problem. We performed experiments to study the main components of our model and we show that (i) learning of the consistent and contrastive feature representations is crucial to extract good discriminative features across different domains, and ii) our model benefits from the use of strong augmentation policies. With these findings, our method achieves state-of-the-art performances in three benchmark datasets for SSDA.

研究动机与目标

• 解决在标注目标数据有限的情况下域自适应中的域偏移问题。
• 将一致性正则化和对比学习的最新进展扩展到 SSDA 设置中。
• 通过归一化特征表示提高源域和目标域之间的泛化能力和特征可分性。
• 研究强数据增强策略和损失组件对 SSDA 中模型性能的影响。
• 在无需复杂架构修改的情况下，实现在标准 SSDA 基准上的最先进性能。

提出的方法

• 对同一输入应用随机的弱增强和强增强（例如，随机裁剪、水平翻转、RandAugment），生成成对的视图。
• 将增强后的输入通过共享的特征提取器，并将输出特征归一化到单位超球面。
• 使用对比损失强制弱增强和强增强视图之间的特征一致性，将正样本对（同一输入）拉近。
• 在无标签目标数据上应用自监督对比损失，以对齐正样本对并分离来自不同输入的负样本对。
• 使用带有归一化原型的线性分类器，通过交叉熵损失和余弦相似度损失监督有标签的源域和目标域数据。
• 在训练过程中联合优化包含一致性、对比和自监督组件的组合损失函数。

实验结果

研究问题

• RQ1 在半监督域自适应中，一致性学习与对比学习能否有效结合以提升特征泛化能力？
• RQ2 如 RandAugment 等强增强策略在低样本 SSDA 设置中对性能有何影响？
• RQ3 对比损失与自监督损失在提升域对齐方面各自贡献如何？
• RQ4 在标注数据有限的 SSDA 中，归一化线性分类器权重是否能提升性能？
• RQ5 所提出的各组件如何协同作用，实现在标准 SSDA 基准上的最先进结果？

主要发现

• 使用强增强策略，尤其是 RandAugment，显著提升了性能，在 Office-31 (W→A) 上验证准确率提升 3.3%，在 DomainNet (R→C) 上提升 1.3%，相比基线弱增强。
• 移除对比损失（w/o ℒcont）后，Office-31 (W→A) 上准确率降至 66.7%，表明其在学习鲁棒表示中的关键作用。
• 移除自监督损失（w/o ℒself）导致 Office-31 (W→A) 上准确率下降 2.2%，证实其在利用无标签目标数据中的重要性。
• 对线性分类器权重进行归一化（w cosine）后，Office-31 (W→A) 上性能提升至 72.0%，表明与原型的余弦相似度能有效增强泛化能力。
• Con2DA 在 Office-31、Office-Home 和 DomainNet 上均实现了最先进性能，相比之前方法平均准确率最高提升 1.4%。
• 消融实验确认，一致性、对比和自监督损失的组合对于 SSDA 中的最优性能至关重要。