[论文解读] Exploiting the Intrinsic Neighborhood Structure for Source-free Domain Adaptation

Shiqi Yang, Yaxing Wang+3 more|arXiv (Cornell University)|Oct 8, 2021

Domain Adaptation and Few-Shot Learning参考文献 58被引用 102

一句话总结

本论文通过利用目标特征的固有局部邻域结构，使用互惠和扩展邻域、带亲和权重的自正则化，在没有源数据访问的情况下对齐目标预测，解决源无关域适应。

ABSTRACT

Domain adaptation (DA) aims to alleviate the domain shift between source domain and target domain. Most DA methods require access to the source data, but often that is not possible (e.g. due to data privacy or intellectual property). In this paper, we address the challenging source-free domain adaptation (SFDA) problem, where the source pretrained model is adapted to the target domain in the absence of source data. Our method is based on the observation that target data, which might no longer align with the source domain classifier, still forms clear clusters. We capture this intrinsic structure by defining local affinity of the target data, and encourage label consistency among data with high local affinity. We observe that higher affinity should be assigned to reciprocal neighbors, and propose a self regularization loss to decrease the negative impact of noisy neighbors. Furthermore, to aggregate information with more context, we consider expanded neighborhoods with small affinity values. In the experimental results we verify that the inherent structure of the target features is an important source of information for domain adaptation. We demonstrate that this local structure can be efficiently captured by considering the local neighbors, the reciprocal neighbors, and the expanded neighborhood. Finally, we achieve state-of-the-art performance on several 2D image and 3D point cloud recognition datasets. Code is available in https://github.com/Albert0147/SFDA_neighbors.

研究动机与目标

• 在适应过程中无法访问源数据这一实际约束下，推动SFDA的研究。
• 假设目标特征在领域移位下也能形成有意义的簇，并且可被用于标注的一致性。
• 利用互惠最近邻来分配更强的监督强度，减少嘈杂邻居的影响。
• 通过扩展邻域来捕获更广的局部上下文，同时通过亲和权重控制噪声。
• 在多个二维图像和三维点云数据集上展示最先进的性能。

提出的方法

• 使用互惠最近邻（RNN）和非互惠最近邻（nRNN）来定义目标特征亲和性。
• 使用记忆库存储目标特征及其预测分数以实现高效的邻居检索。
• 形成基于邻域的损失，鼓励与带有亲和权重的邻居在标签上一致性（L_N）。
• 引入自正则化项以降低嘈杂邻居的影响（L_self）。
• 通过考虑邻居的邻居且具有较小亲和性的方式引入扩展邻域（L_E），捕捉更广的上下文。
• 将带亲和权重的邻域监督与多样性（聚类）损失结合起来，防止退化解（L_div）。

实验结果

研究问题

• RQ1 是否可以通过利用目标特征空间中的局部邻域结构，在没有源标签的情况下有效对齐目标数据？
• RQ2 在SFDA中，互惠最近邻是否提供比非互惠邻居更可靠的监督？
• RQ3 在用亲和权重进行调节的前提下，扩展邻域（邻居的邻居）是否能改善适应？
• RQ4 自正则化和预测多样性如何影响基于邻域的SFDA的稳定性和性能？
• RQ5 与先前方法相比，NRC在标准的二维和三维SFDA基准上的经验性能如何？

主要发现

• 在包括Office-31、Office-Home、VisDA和PointDA-10在内的多个SFDA基准上实现了接近于最先进的性能。
• 互惠最近邻提供比非互惠邻居更强的监督信号，提升目标特征的聚类效果。
• 扩展邻域在结合亲和权重时提供额外上下文并改善结果；仅扩大K而不带亲和可能会降低性能。
• 自正则化降低嘈杂邻居的负面影响并稳定训练。
• 消融研究表明所提出的NRC组件（N、E、A、L_div）共同促成跨数据集的准确性提升。