[论文解读] Attracting and Dispersing: A Simple Approach for Source-free Domain Adaptation

Shiqi Yang, Yaxing Wang+3 more|arXiv (Cornell University)|May 9, 2022

Domain Adaptation and Few-Shot Learning被引用 54

一句话总结

论文提出 AaD，一种简单的无源域自适应目标，通过吸引附近目标特征的预测、并扩散远处特征的预测，在 VisDA-C 上实现了最先进的结果，在 Office-31/Office-Home 上也有强劲表现且不使用源数据。

ABSTRACT

We propose a simple but effective source-free domain adaptation (SFDA) method. Treating SFDA as an unsupervised clustering problem and following the intuition that local neighbors in feature space should have more similar predictions than other features, we propose to optimize an objective of prediction consistency. This objective encourages local neighborhood features in feature space to have similar predictions while features farther away in feature space have dissimilar predictions, leading to efficient feature clustering and cluster assignment simultaneously. For efficient training, we seek to optimize an upper-bound of the objective resulting in two simple terms. Furthermore, we relate popular existing methods in domain adaptation, source-free domain adaptation and contrastive learning via the perspective of discriminability and diversity. The experimental results prove the superiority of our method, and our method can be adopted as a simple but strong baseline for future research in SFDA. Our method can be also adapted to source-free open-set and partial-set DA which further shows the generalization ability of our method. Code is available in https://github.com/Albert0147/AaD_SFDA.

研究动机与目标

• 将 SFDA 动机化为一个使用局部预测一致性的无监督聚类问题。
• 构建一个简单的上界目标，产生两个项：可辨别性和多样性。
• 通过内存库和最近邻检索实现对目标特征的高效训练。
• 通过可辨别性和多样性，将 AaD 与现有的DA、SFDA和对比学习方法联系起来。
• 展示在 SFDA 基准上的强实证表现，并拓展到开放集/部分集合 DA。

提出的方法

• 通过鼓励附近目标特征的预测对齐，同时将远处特征的预测推离来制定 AaD。
• 为每个特征定义两个邻域集合：K近邻集合 C_i 和背景集 B_i。
• 提出上界目标 L_i(C_i,B_i) = - ∑_{j in C_i} p_i^T p_j + λ ∑_{m in B_i} p_i^T p_m，在带有目标特征和预测记忆库的小批量中优化。
• 使用余弦相似度定义邻域关系，并将目标特征/预测存储在内存中以提高检索效率。
• 引入由 Soft Neighborhood Density (SND) 控制的衰减因子 λ，以在训练过程中平衡聚类与分散。
• 通过将各项解释为可辨别性和多样性，将 AaD 与 MI、BNM、NC 和对比学习联系起来；通过以可辨别性为重点的第一项和以多样性为重点的第二项来优化。

实验结果

研究问题

• RQ1 如何将源无域自适应有效地表述为利用局部邻域结构的无监督聚类问题？
• RQ2 简单的两项上界目标（可辨别性与多样性）是否能在没有源数据的情况下实现与之竞争的 SFDA 性能？
• RQ3 提出的 AaD 框架如何联系并统一现有的 DA/SFDA 与对比学习方法？
• RQ4 AaD在标准 SFDA 基准上的经验增益如何（Office-31、Office-Home、VisDA-C），并能否扩展到开放集/部分集 DA？

主要发现

• AaD 在 VisDA-C 的源无方法中实现了最先进的结果（比先前最好高出 2.1%），并在 Office-Home 和 VisDA 上相对于具有源访问的方法表现强劲。
• 简单的两项目标促进局部预测一致性，同时鼓励多样性，使聚类和簇分配在没有复杂模块的情况下成为可能。
• 该方法依赖内存库和最近邻检索，在 SFDA 设置中高效实现目标。
• 通过 SND 的第二项的衰减计划改善了无监督超参数选择和最终性能。
• 实验表明 AaD 能推广到源无开集和部分集 DA 设置。
• 轻量级内存库变体在减少计算量的同时保持了具有竞争力的性能。