[논문 리뷰] Source-free Domain Adaptation via Distributional Alignment by Matching Batch Normalization Statistics

Masato Ishii, Masashi Sugiyama|arXiv (Cornell University)|2021. 01. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 25인용 수 29

한 줄 요약

출처 없는 도메인 적응 방법으로, 소스 데이터에 접근 없이도 고정 분류기에 맞춰 BN 통계와 고정 분류기를 정렬하도록 타깃 인코더만 미세조정하고, 정보 최대화를 통해 판별력을 높여 경쟁력 있는 결과를 달성합니다.

ABSTRACT

In this paper, we propose a novel domain adaptation method for the source-free setting. In this setting, we cannot access source data during adaptation, while unlabeled target data and a model pretrained with source data are given. Due to lack of source data, we cannot directly match the data distributions between domains unlike typical domain adaptation algorithms. To cope with this problem, we propose utilizing batch normalization statistics stored in the pretrained model to approximate the distribution of unobserved source data. Specifically, we fix the classifier part of the model during adaptation and only fine-tune the remaining feature encoder part so that batch normalization statistics of the features extracted by the encoder match those stored in the fixed classifier. Additionally, we also maximize the mutual information between the features and the classifier's outputs to further boost the classification performance. Experimental results with several benchmark datasets show that our method achieves competitive performance with state-of-the-art domain adaptation methods even though it does not require access to source data.

연구 동기 및 목표

• 적응 중 소스 데이터에 접근하지 않고 도메인 시프트를 해결합니다.
• 사전 학습된 모델에 저장된 BN 통계를 활용해 소스 피처 분포를 근사합니다.
• 분류기는 고정하고 타깃 피처 인코더만 미세 조정합니다.
• 정보 최대화를 통해 타깃 도메인 분류를 강화합니다.
• 표준 도메인 적응 벤치마크에서 경쟁력 있는 성능을 보여줍니다.

제안 방법

• 사전 학습된 모델을 고정 분류기와 조정 가능한 타깃 인코더로 분할합니다.
• Gaussian 근사를 사용해 타깃 BN 통계를 분류기의 저장된 소스 BN 통계와 비교하는 BN-통계 일치 손실을 정의합니다.
• 타깃 피처 분포(BN에서 나오는 분포)와 근사된 소스 분포 간의 KL 발산을 최소화합니다.
• 정보 최대화 손실을 도입해 타깃 예측을 판별적이고 다양하도록 장려합니다.
• 비라벨링된 타깃 데이터에 대해 L_IM + lambda * L_BNM을 최소화하도록 인코더 매개변수를 공동 최적화합니다.
• 소스 없는 제약하에서 이 접근법의 안정성 및 효율성을 주장합니다.

실험 결과

연구 질문

• RQ1 사전 학습된 분류기에 저장된 BN 통계가 소스 데이터 없이 도메인 정렬을 위해 소스 피처 분포를 효과적으로 근사할 수 있나요?
• RQ2 정보 최대화와 함께 BN-통계 정렬을 최적화하는 것이 소스 없는 적응에서 타깃 도메인 분류를 개선하나요?
• RQ3 제안된 방법은 표준 도메인 적응 벤치마크에서 다른 소스 없는 방법 및 일반 DA 방법과 비교해 어떤 성능을 보이나요?

주요 결과

• 본 방법은 벤치마크 데이터셋에서 최첨단 소스 없는 DA 방법과 비교해 경쟁력 있는 정확도를 달성합니다.
• Gaussian 근사를 통한 KL 발산으로 BN-통계 매칭이 도메인 간 분포 차이를 줄입니다.
• 정보 최대화는 판별력을 향상시키고 타깃 데이터에 대한 과적합을 피하는 데 도움이 됩니다.
• Office-31의 여러 시나리오와 숫자 인식 작업에서 잘 작동하며, 종종 일부 일반 DA 방법을 능가합니다.
• 하이퍼파라미터 lambda의 넓은 범위에서도 안정성을 보이고, 타깃 데이터가 더 작아져도 효과적임이 입증됩니다.