[论文解读] Divide and Contrast: Source-free Domain Adaptation via Adaptive Contrastive Learning

Ziyi Zhang, Weikai Chen+5 more|arXiv (Cornell University)|Nov 12, 2022

Domain Adaptation and Few-Shot Learning被引用 28

一句话总结

DaC 通过将目标数据分成源样本风格和目标特定集合，并应用带有内存库的自适应对比学习与基于 MMD 的对齐，提出一种源自由无监督领域自适应（SFUDA）的分而治之策略，在 VisDA、Office-Home 和 DomainNet 上取得了最先进的结果。

ABSTRACT

We investigate a practical domain adaptation task, called source-free domain adaptation (SFUDA), where the source-pretrained model is adapted to the target domain without access to the source data. Existing techniques mainly leverage self-supervised pseudo labeling to achieve class-wise global alignment [1] or rely on local structure extraction that encourages feature consistency among neighborhoods [2]. While impressive progress has been made, both lines of methods have their own drawbacks - the "global" approach is sensitive to noisy labels while the "local" counterpart suffers from source bias. In this paper, we present Divide and Contrast (DaC), a new paradigm for SFUDA that strives to connect the good ends of both worlds while bypassing their limitations. Based on the prediction confidence of the source model, DaC divides the target data into source-like and target-specific samples, where either group of samples is treated with tailored goals under an adaptive contrastive learning framework. Specifically, the source-like samples are utilized for learning global class clustering thanks to their relatively clean labels. The more noisy target-specific data are harnessed at the instance level for learning the intrinsic local structures. We further align the source-like domain with the target-specific samples using a memory bank-based Maximum Mean Discrepancy (MMD) loss to reduce the distribution mismatch. Extensive experiments on VisDA, Office-Home, and the more challenging DomainNet have verified the superior performance of DaC over current state-of-the-art approaches. The code is available at https://github.com/ZyeZhang/DaC.git.

研究动机与目标

• 在源数据不可用、模型必须适应新领域的情形下，推动实际的源自由无监督领域自适应（SFUDA）。
• 同时利用全局类别聚类和局部实例结构来应对标签噪声与源偏差。
• 开发一个统一框架，动态分割目标样本并对每个分段应用定制化学习。
• 给出目标风险的理论保证，并在标准基准数据集上展示经验上的优越性。

提出的方法

• 基于源分类器的置信度将目标数据分成源样本风格和目标特定样本。
• 使用带伪标签的自训练来获得初始的按类别结构。
• 应用带有内存库的自适应对比学习框架，以学习全局类别原型（用于源样本风格）和局部结构（用于目标特定样本）。
• 通过基于内存库的 MMD 损失对齐源样本风格和目标特定分布，其中包括一个 Exponential-MMD 变体。
• 提供对目标风险的理论分析界限，并证明分而后对比策略的设计合理性。

实验结果

研究问题

• RQ1 基于源模型置信度的目标数据分割是否能够在 SFUDA 中实现鲁棒的全局-局部混合学习？
• RQ2 将源样本的按类别伪标签与目标特定样本的局部结构对比学习结合起来，在无源数据情况下是否能改善适应？
• RQ3 基于内存库的 MMD 是否能够有效降低批次偏差并改善跨域对齐？
• RQ4 在一个分而对比的 SFUDA 框架中，目标风险的理论保证是什么？

主要发现

• DaC 在 VisDA、Office-Home 和 DomainNet 数据集上取得了最新的性能，优于一些源自由 Baselines 以及部分存在源 的 Baselines。
• 该方法将目标数据分为高置信度预测的源样本风格和低置信度的目标特定样本，以应用定制学习策略。
• 内存库为源样本风格的数据提供稳健的类别质心，为目标特定样本提供局部结构灵感的原型，从而提升全局聚类和局部一致性。
• 在内存库之上加入 Exponential-MMD 损失，提升源样本风格和目标特定样本之间的分布对齐，同时减轻批次偏差。
• 理论分析给出目标风险的上界，证明分而对比方法的合理性。