[论文解读] Category Contrast for Unsupervised Domain Adaptation in Visual Tasks

Jiaxing Huang, Dayan Guan+3 more|arXiv (Cornell University)|Jun 5, 2021

Domain Adaptation and Few-Shot Learning参考文献 94被引用 10

一句话总结

本文提出Category Contrast (CaCo)，一种新颖的无监督域自适应方法，通过构建语义感知、类别均衡且领域混合的字典以增强对比学习中的特征学习。通过利用伪标签化的目标样本和源域类别先验，CaCo 学习到类别可区分但领域不变的表征，在语义分割、图像分类和目标检测任务中均取得最先进性能，且相对于现有方法表现出一致的性能提升。

ABSTRACT

Instance contrast for unsupervised representation learning has achieved great success in recent years. In this work, we explore the idea of instance contrastive learning in unsupervised domain adaptation (UDA) and propose a novel Category Contrast technique (CaCo) that introduces semantic priors on top of instance discrimination for visual UDA tasks. By considering instance contrastive learning as a dictionary look-up operation, we construct a semantics-aware dictionary with samples from both source and target domains where each target sample is assigned a (pseudo) category label based on the category priors of source samples. This allows category contrastive learning (between target queries and the category-level dictionary) for category-discriminative yet domain-invariant feature representations: samples of the same category (from either source or target domain) are pulled closer while those of different categories are pushed apart simultaneously. Extensive UDA experiments in multiple visual tasks (e.g., segmentation, classification and detection) show that CaCo achieves superior performance as compared with state-of-the-art methods. The experiments also demonstrate that CaCo is complementary to existing UDA methods and generalizable to other learning setups such as unsupervised model adaptation, open-/partial-set adaptation etc.

研究动机与目标

• 通过改进无监督域自适应（UDA）中的特征表示学习，以应对视觉任务中的领域偏移问题。
• 克服现有无监督表示学习方法的局限性，这些方法聚焦于实例判别但未考虑语义类别或领域不变性。
• 开发一种对比学习框架，整合类别先验与领域混合数据，以学习鲁棒且可泛化的特征。
• 在多样化的UDA任务和学习设置中，证明该方法的有效性及其互补性。

提出的方法

• 通过结合源域样本（带真实标签）和目标域样本（带伪标签）构建语义感知字典，形成类别均衡、领域混合的键集合。
• 基于从源域特征中提取的类别先验，为目标样本分配伪类别标签，以支持类别感知的对比学习。
• 采用类别对比损失（CatNCE），在不同领域间拉近同一类别的特征，同时推远不同类别的特征。
• 采用字典查找机制，使每个目标查询与字典中所有键进行对比，确保所有类别上的学习保持平衡。
• 实施记忆库更新策略，以维持一个动态的长期键集合，确保训练稳定。
• 将类别对比损失集成到现有UDA框架中，实现即插即用的性能提升。

实验结果

研究问题

• RQ1 通过利用源数据中的语义先验，类别感知的对比学习是否能提升无监督域自适应的性能？
• RQ2 领域混合、类别均衡的字典如何增强领域不变且类别可区分的表征学习？
• RQ3 所提出的Category Contrast (CaCo) 方法是否在语义分割、目标检测和图像分类等多样化视觉任务中具备泛化能力？
• RQ4 CaCo 在多大程度上与现有最先进（SOTA）的UDA方法互补，从而进一步提升性能？
• RQ5 CaCo 是否可扩展至其他学习设置，如开放集或部分集域自适应？

主要发现

• CaCo 在多个视觉UDA基准上达到最先进性能，包括GTA5 → Cityscapes语义分割、COCO实例分割和ImageNet风格分类任务。
• 当集成到现有SOTA UDA方法中时，CaCo在所有评估任务中均一致提升性能，展现出强大的互补性。
• 与依赖掩码任务（如实例对比学习或旋转预测）的无监督表示学习基线相比，CaCo在UDA设置中表现显著更优。
• 实验表明，超参数M（每类字典大小）对性能影响极小，表明方法对超参数选择具有鲁棒性。
• CaCo 在具有挑战性的设置中也表现出良好泛化能力，如无监督模型自适应、开放集UDA和部分集UDA，显示出广泛适用性。
• 消融研究证实，类别感知、领域混合且类别均衡的字典设计组合对性能至关重要，其表现优于使用独立字典或固定温度缩放的变体。