[논문 리뷰] Attracting and Dispersing: A Simple Approach for Source-free Domain Adaptation

Shiqi Yang, Yaxing Wang외 3명|arXiv (Cornell University)|2022. 05. 09.

Domain Adaptation and Few-Shot Learning인용 수 54

한 줄 요약

논문은 예측을 근접한 대상 특징들 사이에서 끌어당기고 멀리 있는 특징들에 대한 예측을 확산시키는 간단한 소스-프리 도메인 적응 목표인 AaD를 제시하며, VisDA-C에서 최첨단 결과를, Office-31/Office-Home에서 소스 데이터를 사용하지 않고도 강력한 성능을 달성합니다.

ABSTRACT

We propose a simple but effective source-free domain adaptation (SFDA) method. Treating SFDA as an unsupervised clustering problem and following the intuition that local neighbors in feature space should have more similar predictions than other features, we propose to optimize an objective of prediction consistency. This objective encourages local neighborhood features in feature space to have similar predictions while features farther away in feature space have dissimilar predictions, leading to efficient feature clustering and cluster assignment simultaneously. For efficient training, we seek to optimize an upper-bound of the objective resulting in two simple terms. Furthermore, we relate popular existing methods in domain adaptation, source-free domain adaptation and contrastive learning via the perspective of discriminability and diversity. The experimental results prove the superiority of our method, and our method can be adopted as a simple but strong baseline for future research in SFDA. Our method can be also adapted to source-free open-set and partial-set DA which further shows the generalization ability of our method. Code is available in https://github.com/Albert0147/AaD_SFDA.

연구 동기 및 목표

• 로컬 예측 일관성을 사용하여 소스-프리 SFDA를 비지도 클러스터링 문제로 동기 부여한다.
• 두 항으로 구성된 상한 객관식 목표를 개발한다: 식별력(discriminability)과 다양성(diversity).
• 대상 특징에 대한 메모리 뱅크와 최근접 이웃 검색을 사용하여 효율적인 훈련을 가능하게 한다.
• AaD를 식별력과 다양성으로 해석하여 기존의 DA, SFDA, 대조학습 방법과의 관련성을 밝힌다.
• 강력한 실증 성능을 SFDA 벤치마크에서 입증하고 개방형/부분집합 DA로의 확장 가능성을 보여준다.

제안 방법

• AaD를 근접한 대상 특징의 예측을 정렬시키고 멀리 떨어진 특징의 예측을 서로 다르게 밀어내도록 유도함으로써 formulation한다.
• 각 특징에 대해 두 개의 이웃 집합을 정의한다: K-최근접 이웃 집합 C_i와 백그라운드 집합 B_i.
• 상한 목표 L_i(C_i,B_i) = - sum_{j in C_i} p_i^T p_j + lambda sum_{m in B_i} p_i^T p_m를 미니배치와 대상 특징·예측의 메모리 뱅크에서 최적화한다.
• 코사인 유사도를 사용해 이웃 관계를 정의하고 효율적인 검색을 위해 대상 특징/예측을 메모리에 저장한다.
• Soft Neighborhood Density(SND)에 의해 제어되는 감쇠 계수 lambda를 도입하여 훈련 동안 군집화와 분산 간의 균형을 맞춘다.
• 식별력 중심의 첫 번째 항과 다양성 중심의 두 번째 항으로 해석하여 MI, BNM, NC, 대조학습과 AaD를 연결하고 최적화한다.

실험 결과

연구 질문

• RQ1 소스-프리 도메인 적응을 로컬 이웃 구조를 사용한 비지도 클러스터링 문제로 어떻게 효과적으로 형상화할 수 있는가?
• RQ2 두 항(식별력과 다양성)으로 구성된 간단한 상한 목표가 소스 데이터 없이 경쟁력 있는 SFDA 성능을 달성할 수 있는가?
• RQ3 제안된 AaD 프레임워크가 기존의 DA/SFDA 및 대조학습 접근법들과 어떻게 관련되고 통합되는가?
• RQ4 표준 SFDA 벤치마크(Office-31, Office-Home, VisDA-C)에서 AaD의 실험적 이득은 무엇이며 개방형/부분집합 DA로 확장될 수 있는가?

주요 결과

• AaD는 VisDA-C에서 소스-프리 방법들 중 최첨단 결과를 달성하며(이전 최고보다 2.1% 포인트 개선) Office-Home 및 VisDA에서 소스 접근이 있는 방법에 비해도 강한 성능을 보인다.
• 단순한 두 항 목표가 로컬 예측 일관성을 촉진하면서 다양성을 장려해 복잡한 모듈 없이도 군집화 및 군집 할당이 가능하게 한다.
• 이 방법은 SFDA 설정에서 목표 특징과 예측의 메모리 뱅크 및 최근접 이웃 검색에 의존하여 목표를 효율적으로 구현한다.
• 두 번째 항의 SND를 통한 감소형 스케줄은 비지도 하이퍼파라미터 선택과 최종 성능을 향상시킨다.
• 실험 결과 AaD가 소스-프리 개방형(Open-set) 및 부분집합(Open-partial-set) DA 설정으로 일반화됨을 보여준다.
• 경량 메모리 뱅크 버전은 계산량을 줄이면서도 경쟁력 있는 성능을 유지한다.