[논문 리뷰] Casting a BAIT for Offline and Online Source-free Domain Adaptation

Shiqi Yang, Yaxing Wang외 3명|arXiv (Cornell University)|2020. 10. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 19인용 수 9

한 줄 요약

이 논문은 소스 데이터에 접근할 수 없는 환경에서 작동하는 새로운 소스 프리 도메인 어댑테이션 방법인 BAIT를 제안한다. 이 방법은 고정된 소스 분류기를 결정 경계의 기준점으로 사용하고, 오분류된 타겟 특징을 식별하고 수정하기 위한 보조 '베이트'(bait) 분류기를 도입한다. 베이트 분류기와 소스 분류기 간의 일치를 유도함으로써, 특징 추출기는 불확실한 타겟 특징을 소스 결정 경계의 올바른 쪽으로 이동시키도록 업데이트되며, 이로써 소스 데이터 접근 없이도 온라인 소스 프리 도메인 어댑테이션에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We address the source-free domain adaptation (SFDA) problem, where only the source model is available during adaptation to the target domain. We consider two settings: the offline setting where all target data can be visited multiple times (epochs) to arrive at a prediction for each target sample, and the online setting where the target data needs to be directly classified upon arrival. Inspired by diverse classifier based domain adaptation methods, in this paper we introduce a second classifier, but with another classifier head fixed. When adapting to the target domain, the additional classifier initialized from source classifier is expected to find misclassified features. Next, when updating the feature extractor, those features will be pushed towards the right side of the source decision boundary, thus achieving source-free domain adaptation. Experimental results show that the proposed method achieves competitive results for offline SFDA on several benchmark datasets compared with existing DA and SFDA methods, and our method surpasses by a large margin other SFDA methods under online source-free domain adaptation setting.

연구 동기 및 목표

• 소스 데이터 접근이 어댑테이션 중에 불가능한 소스 프리 도메인 어댑테이션(SFDA)에서 발생하는 도메인 이동 문제를 해결하기 위해.
• 더 현실적인 온라인 환경을 중심으로 하되, 오프라인 및 온라인 SFDA 설정 모두에서 효과적인 방법을 개발하기 위해.
• 오차에 민감하고 계산 비용이 높은 가짜 레이블링이나 데이터 생성에 의존하지 않기 위해.
• 스트리밍 타겟 데이터에 대해 직접적이고 단일 패assing(adaptation)을 가능하게 하여 실시간 응용에 적합하기 위해.
• 소스 데이터에 접근하지 않거나 합성 샘플을 생성하지 않고도 소스 분류기와의 특징 정렬을 향상시키기 위해.

제안 방법

• 사전 훈련 후 소스 분류기의 헤드를 고정하여, 어댑테이션의 기준점으로 삼는 결정 경계를 고정한다.
• 오분류된 타겟 특징을 탐지하기 위해 소스 분류기에서 초기화된 보조 '베이트' 분류기를 도입한다.
• 불확실한 타겟 샘플에서 예측을 다르게 하도록 유도하기 위해 대trastive 손실($\mathcal{L}_{cast}$)을 사용해 베이트 분류기를 훈련한다.
• 베이트 분류기와 소스 분류기 모두가 타겟 특징를 올바르게 분류하도록 유도하기 위해, 특징 추출기를 업데이트하는 데 손실($\mathcal{L}_{bite}$)을 사용한다.
• 학습 과정을 안내하기 위해 미니배치 내에서 확실한 및 불확실한 샘플을 엔트로피 기반 분할 기법으로 분리한다.
• 불균형한 타겟 데이터에서의 일반화 성능 향상을 위해 클래스 균형 손실($\mathcal{L}_b$)을 사용한다.

Figure 1: Illustration of training process. The top shows that the source-training model fails on target domain due to domain shift. The bottom illustrates our adaptation process. (a): splitting feature in current batch into 2 groups by the prediction entropy $H$ and the threshold $\tau$ , (b) then

실험 결과

연구 질문

• RQ1 고정된 소스 분류기가 소스 프리 도메인 어댑테이션에서 안정적인 결정 경계 기준점으로 기능할 수 있는가?
• RQ2 소스 데이터 없이도 보조 '베이트' 분류기가 효과적으로 오분류된 타겟 특징를 식별하고 수정할 수 있는가?
• RQ3 제안된 방법이 기존 SFDA 방법보다 뛰어나게 성능을 내는가, 특히 온라인(단일 패assing) 어댑테이션 환경에서 성능이 뛰어난가?
• RQ4 엔트로피 임계값 $\tau$ 와 같은 하이퍼파라미터에 대해 이 방법이 얼마나 민감한가?
• RQ5 가짜 레이블링이나 데이터 생성에 의존하지 않고도 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• BAIT는 오프라인 SFDA 설정에서 벤치마크 데이터셋에서 경쟁력 있는 성능을 달성하며, 소스 데이터를 사용하는 기존 방법들과 맞먹거나 초월한다.
• 온라인 SFDA 설정에서 BAIT는 세 가지 Office-Home 작업 전반에서 SHOT과 같은 강력한 베이스라인을 크게 능가한다.
• 제거 실험 결과, $\mathcal{L}_{cast}$와 $\mathcal{L}_{bite}$ 둘 다 필수적임을 확인하였으며, 각각 제거 시 성능이 45%와 8%로 급격히 하락한다.
• 엔트로피 임계값 $\tau$ 의 선택에 대해 매우 강건하며, 25%, 75%, 100%의 불확실한 샘플 집합 선택 시에도 성능 저하가 최소한이다.
• t-SNE 시각화 결과, BAIT는 소스 클래스 프로토타입과 정렬된 더 조밀하고 구분력 있는 타겟 특징 클러스터를 생성함을 확인하였다.
• 단일 패assing으로 데이터를 분류해야 하는 온라인 어댑테이션 환경에서 BAIT는 뛰어난 성능을 기록하여 실시간 시스템에 대한 실용성을 입증한다.

Figure 2: Toy experiment on the twinning moon 2D dataset. The blue points refer to target data. The green and gray refer to source data. Decision boundaries after training model only on the source data and testing on source (a) and target (b) data. (c) After stage 1 training in the middle of adaptat