[论文解读] Joint Contrastive Learning for Unsupervised Domain Adaptation

Changhwa Park, Jonghyun Lee+3 more|arXiv (Cornell University)|Jun 18, 2020

Domain Adaptation and Few-Shot Learning参考文献 53被引用 22

一句话总结

本文提出了一种新型无监督域自适应方法——联合对比学习（JCL），通过对比学习最大化特征与标签之间的互信息，显式最小化联合假设误差。通过联合优化带标签的源域数据和无标签的目标域数据，JCL 提升了特征的可分性，在 VisDA-2017 上实现了最先进性能，尤其在最具挑战性的类别上相比之前方法最高提升了 6.9%。

ABSTRACT

Enhancing feature transferability by matching marginal distributions has led to improvements in domain adaptation, although this is at the expense of feature discrimination. In particular, the ideal joint hypothesis error in the target error upper bound, which was previously considered to be minute, has been found to be significant, impairing its theoretical guarantee. In this paper, we propose an alternative upper bound on the target error that explicitly considers the joint error to render it more manageable. With the theoretical analysis, we suggest a joint optimization framework that combines the source and target domains. Further, we introduce Joint Contrastive Learning (JCL) to find class-level discriminative features, which is essential for minimizing the joint error. With a solid theoretical framework, JCL employs contrastive loss to maximize the mutual information between a feature and its label, which is equivalent to maximizing the Jensen-Shannon divergence between conditional distributions. Experiments on two real-world datasets demonstrate that JCL outperforms the state-of-the-art methods.

研究动机与目标

• 为解决在域自适应中被低估的联合假设误差对目标误差上界的影响，从而削弱理论保证的问题。
• 在边际分布对齐之外进一步提升特征可分性，避免牺牲类别级别的可分性。
• 构建一个联合优化框架，利用带标签的源域数据和无标签的目标域数据，以最小化联合误差。
• 从理论上证明最大化特征与标签之间的互信息是增强类别级可分性的有效手段。
• 通过基于信息论的对比学习目标，在无监督域自适应中实现最先进性能。

提出的方法

• 提出目标误差的新上界，显式引入联合假设误差，使该术语可直接优化。
• 提出联合对比学习（JCL），一种联合优化源域带标签数据与目标域无标签数据表示的对比学习框架。
• 使用 InfoNCE 对比损失，以最大化学习特征与真实标签之间的互信息，等价于最大化类别条件分布之间的 Jensen-Shannon 散度。
• 采用联合嵌入空间，基于标签一致性对齐来自两个域的特征，从而提升可分性。
• 引入超参数 γ 以平衡对比损失与其他目标，实验表明对 γ 的变化具有鲁棒性。
• 使用 t-SNE 可视化表明，与 DANN 等基线方法相比，JCL 生成的特征更具类别判别性且分离度更高。

实验结果

研究问题

• RQ1 联合假设误差如何影响域自适应中目标误差的理论上界？
• RQ2 最大化特征与标签之间的互信息是否能带来优于边际分布对齐的特征可分性？
• RQ3 在源域与目标域上进行联合优化是否能提升无监督域自适应中的泛化性能？
• RQ4 在真实世界基准上，该方法在准确率和鲁棒性方面与最先进方法相比如何？
• RQ5 在实际中，对比学习目标在多大程度上减少了理想的联合假设误差？

主要发现

• 在 VisDA-2017 基准上，JCL 使用 ResNet-101 达到 87.6% 的平均准确率，比之前最先进方法 CAN 提升 0.4%。
• 在最具挑战性的类别 'truck' 上，JCL 相比 CAN 的准确率提升 6.9 个百分点（从 59.9% 提升至 66.8%）。
• JCL 学习表示的线性分类器误差显著低于 DANN 学习特征的误差，表明联合假设误差降低。
• 消融实验表明，JCL 对超参数 γ 具有鲁棒性，性能在较宽范围的 γ 值下保持稳定。
• t-SNE 可视化证实，与 DANN 相比，JCL 在目标域中生成更具判别性且分离度更高的特征。
• 该方法有效平衡了熵与条件熵，避免了表示学习中的退化解。