[论文解读] Cross-domain Contrastive Learning for Unsupervised Domain Adaptation

Rui Wang, Zuxuan Wu+4 more|arXiv (Cornell University)|Jun 10, 2021

Domain Adaptation and Few-Shot Learning参考文献 38被引用 14

一句话总结

本文提出CDCL，一种用于无监督域适应的对比学习框架，通过最小化来自不同域的同类别样本之间的距离，同时拉远不同类别样本之间的距离，实现跨域特征对齐。该方法通过使用伪标签目标域特征，在Office-31和VisDA-2017数据集上实现了最先进性能，并可通过极少修改适配至无数据设置。

ABSTRACT

Unsupervised domain adaptation (UDA) aims to transfer knowledge learned from a fully-labeled source domain to a different unlabeled target domain. Most existing UDA methods learn domain-invariant feature representations by minimizing feature distances across domains. In this work, we build upon contrastive self-supervised learning to align features so as to reduce the domain discrepancy between training and testing sets. Exploring the same set of categories shared by both domains, we introduce a simple yet effective framework CDCL, for domain alignment. In particular, given an anchor image from one domain, we minimize its distances to cross-domain samples from the same class relative to those from different categories. Since target labels are unavailable, we use a clustering-based approach with carefully initialized centers to produce pseudo labels. In addition, we demonstrate that CDCL is a general framework and can be adapted to the data-free setting, where the source data are unavailable during training, with minimal modification. We conduct experiments on two widely used domain adaptation benchmarks, i.e., Office-31 and VisDA-2017, for image classification tasks, and demonstrate that CDCL achieves state-of-the-art performance on both datasets.

研究动机与目标

• 通过学习域不变特征来解决无监督域适应中的域偏移问题。
• 利用对比自监督学习实现域对齐，而无需依赖人工标注。
• 开发一种在标准UDA和源数据无条件UDA设置下均有效的方法。
• 通过跨域类条件对比损失改进特征对齐。
• 通过基于原型的自适应减少对源数据的依赖。

提出的方法

• CDCL使用一种对比损失，将来自同一类别的跨域样本视为正样本对，而将不同类别的样本视为负样本对。
• 通过使用源域类别原型初始化的k-means聚类生成目标域样本的伪标签。
• 对比损失通过最小化锚点特征与同类别跨域特征之间的距离，相对于不同类别跨域特征的距离，实现优化。
• 在无数据设置中，源样本被预训练的类别原型替代，从而在无需访问源数据的情况下实现模型适应。
• 该框架使用温度参数τ和损失平衡超参数λ，以平衡对比损失与分类损失。
• 通过端到端训练，结合交叉熵损失与对比目标，对特征表示进行优化。

实验结果

研究问题

• RQ1 通过构建跨域正负样本对，对比自监督学习能否有效应用于无监督域适应？
• RQ2 与域无关或域内对比方法相比，类条件对比学习如何提升域对齐效果？
• RQ3 当训练期间无法获取源数据时，CDCL能否保持强性能？
• RQ4 在不同基准上，CDCL对超参数τ和λ的敏感性如何？
• RQ5 使用源自源数据的原型是否能在无数据设置下实现有效的域适应？

主要发现

• CDCL在Office-31基准上实现了最先进准确率，在D→W和W→D域适应任务中均优于先前方法。
• 在VisDA-2017上，CDCL在标准UDA设置下达到88.6%的top-1准确率，超越现有SOTA方法。
• 消融实验表明，采用双向锚点的跨域对比学习性能最佳，优于域内或联合域方法。
• CDCL对超参数τ和λ表现出较低敏感性，在广泛取值范围内均保持稳定性能。
• t-SNE可视化结果表明，CDCL成功对齐了源域与目标域的特征，减少了域偏移并提升了类别可分性。
• 特征检索结果表明，CDCL在训练过程中逐步拉近来自不同域的同类别样本，验证了其学习动态。