[논문 리뷰] Exploiting the Intrinsic Neighborhood Structure for Source-free Domain Adaptation

Shiqi Yang, Yaxing Wang외 3명|arXiv (Cornell University)|2021. 10. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 58인용 수 102

한 줄 요약

이 논문은 소스 데이터에 접근하지 않고 타깃 특징의 고유한 로컬 이웃 구조를 활용하여 상호 이웃 및 확장 이웃과 친화도 가중치 및 자가 규제화를 사용해 타깃 예측을 정렬하는 소스 프리 도메인 적응(SFDA)을 다룬다.

ABSTRACT

Domain adaptation (DA) aims to alleviate the domain shift between source domain and target domain. Most DA methods require access to the source data, but often that is not possible (e.g. due to data privacy or intellectual property). In this paper, we address the challenging source-free domain adaptation (SFDA) problem, where the source pretrained model is adapted to the target domain in the absence of source data. Our method is based on the observation that target data, which might no longer align with the source domain classifier, still forms clear clusters. We capture this intrinsic structure by defining local affinity of the target data, and encourage label consistency among data with high local affinity. We observe that higher affinity should be assigned to reciprocal neighbors, and propose a self regularization loss to decrease the negative impact of noisy neighbors. Furthermore, to aggregate information with more context, we consider expanded neighborhoods with small affinity values. In the experimental results we verify that the inherent structure of the target features is an important source of information for domain adaptation. We demonstrate that this local structure can be efficiently captured by considering the local neighbors, the reciprocal neighbors, and the expanded neighborhood. Finally, we achieve state-of-the-art performance on several 2D image and 3D point cloud recognition datasets. Code is available in https://github.com/Albert0147/SFDA_neighbors.

연구 동기 및 목표

• 적응 중 소스 데이터에 접근할 수 없다는 실용적 제약으로 SFDA를 동기 부여한다.
• 도메인 시프트 하에서도 타깃 특징이 의미 있는 군집을 형성한다고 가정하고 이를 라벨링 일관성을 위해 활용할 수 있다고 본다.
• 상호 최근접 이웃을 활용해 감독 신호를 더 강하게 부여하고 노이즈 이웃의 영향을 줄인다.
• 친화도 가중치를 통한 노이즈 제어와 함께 확장된 이웃을 도입해 더 넓은 지역 맥락을 포착한다.
• 다양한 2D 이미지 및 3D 포인트 클라우드 데이터셋에서 최첨단 성능을 입증한다.

제안 방법

• 상호 최근접 이웃(RNN) 및 비상호 최근접 이웃(nRNN)을 사용해 타깃 특징 친화도를 정의한다.
• 효율적인 이웃 검색을 위해 타깃 특징과 예측 점수를 저장하는 메모리 뱅크를 사용한다.
• 친화도에 의해 가중치가 부여된 이웃과의 라벨 일치를 촉진하는 이웃 기반 손실(L_N)을 정식화한다.
• 노이즈 이웃의 영향을 완화하기 위한 자가 규제화 항(L_self)을 도입한다.
• 더 작은 친화도를 가진 이웃의 이웃을 고려해 확장된 이웃(L_E)을 도입해 더 넓은 맥락을 포착한다.
• 친화도 가중 이웃 감독을 다변성(클러스터링) 손실과 결합해 퇴화된 해를 방지하는 L_div를 도입한다.

실험 결과

연구 질문

• RQ1 소스 레이블이 없는 타깃 데이터가 타깃 특징 공간의 국소 이웃 구조를 활용하여 효과적으로 정렬될 수 있는가?
• RQ2 SFDA에서 상호 최근접 이웃이 비상호 최근접 이웃보다 더 신뢰할 수 있는 감독 신호를 제공하는가?
• RQ3 친화도 가중치로 조절될 때 이웃의 이웃(확장된 이웃)을 확장하는 것이 적응을 개선하는가?
• RQ4 자가 규제화와 예측 다양성이 이웃 기반 SFDA의 안정성 및 성능에 어떤 영향을 미치는가?
• RQ5 표준 2D 및 3D SFDA 벤치마크에서 NRC의 실험적 성능은 이전 방법과 비교하여 어떤가?

주요 결과

• Office-31, Office-Home, VisDA, PointDA-10 등을 포함한 다수의 SFDA 벤치마크에서 경쟁력 있는 또는 최첨단 수준의 성능을 달성한다.
• 상호 최근접 이웃은 비상호 이웃보다 더 강한 감독 신호를 제공하여 타깃 특징의 군집화를 개선한다.
• 확장된 이웃은 추가 맥락을 제공하고 친화도 가중과 결합되면 결과를 개선하는 반면, 친화 없이 단순히 K를 확장하는 것은 성능을 저하시킬 수 있다.
• 자가 규제화는 노이즈 이웃의 부정적 영향을 줄이고 학습을 안정시킨다.
• 능력치 분석에 따르면 제안된 NRC 구성 요소(N, E, A, L_div)가 데이터셋 전반에 걸친 정확도 향상에 공동으로 기여한다.