[논문 리뷰] DomainAdaptor: A Novel Approach to Test-time Adaptation

Jian Zhang, Lei Qi외 2명|arXiv (Cornell University)|2023. 08. 20.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

DomainAdaptor는 재학습 없이 테스트 시간에 unlabeled 데이터를 활용하여 도메인 일반화를 위한 새로운 테스트 시간 적응 방법을 제안한다. AdaMixBN를 통해 소스 및 타겟 배치 통계를 동적으로 융합하고, 일반화 엔트로피 최소화(GEM) 손실을 최적화하여, 네 가지 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다. 특히 소수의 샘플로 구성된 새로운 도메인 환경에서 뛰어난 성능을 보이며, 재학습 없이도 효과적으로 unlabeled 테스트 데이터를 활용한다.

ABSTRACT

To deal with the domain shift between training and test samples, current methods have primarily focused on learning generalizable features during training and ignore the specificity of unseen samples that are also critical during the test. In this paper, we investigate a more challenging task that aims to adapt a trained CNN model to unseen domains during the test. To maximumly mine the information in the test data, we propose a unified method called DomainAdaptor for the test-time adaptation, which consists of an AdaMixBN module and a Generalized Entropy Minimization (GEM) loss. Specifically, AdaMixBN addresses the domain shift by adaptively fusing training and test statistics in the normalization layer via a dynamic mixture coefficient and a statistic transformation operation. To further enhance the adaptation ability of AdaMixBN, we design a GEM loss that extends the Entropy Minimization loss to better exploit the information in the test data. Extensive experiments show that DomainAdaptor consistently outperforms the state-of-the-art methods on four benchmarks. Furthermore, our method brings more remarkable improvement against existing methods on the few-data unseen domain. The code is available at https://github.com/koncle/DomainAdaptor.

연구 동기 및 목표

• 재학습 없이 unlabeled 테스트 데이터를 활용하여 테스트 시간 적응에서 도메인 분포 이탈 문제를 해결한다.
• 도메인 간 격차가 클 경우 배치 정규화 통계 추정이 정확하지 않다는 문제를 해결한다.
• 일반적인 엔트로피 최소화에서 간과되기 쉬운, unlabeled 테스트 샘플의 신뢰도 높은 예측을 활용하여 적응 성능을 향상시킨다.
• 모든 사전 훈련된 CNN 모델과 호환되도록 설계하여, 소스 데이터 접근 없이도 완전한 테스트 시간 적응을 가능하게 한다.
• 微fine-tuning 이후 가중치 불일치로 인한 적응형 정규화 레이어의 성능 저하를 완화한다.

제안 방법

• AdaMixBN는 사전 훈련된(소스) 및 현재 테스트 배치의 통계를 학습 가능한 혼합 계수를 사용해 동적으로 융합하여, 도메인 분포 이탈 상황에서도 정규화 정확도를 향상시킨다.
• 통계 변환 연산은 미세조정 이전에 소스 통계를 애핀 변환 파rameter로 변환하여, 가중치 불일치로 인한 성능 저하를 방지한다.
• 일반화 엔트로피 최소화(GEM) 손실은 온도 스케일링을 통해 예측 확률을 부드럽게 하고, 확신 있는 예측에 대해 더 큰 기울기를 생성하여 학습을 향상시킨다.
• 기존 엔트로피 최소화를 확장하여 고신뢰도 예측에 초점을 맞추며, 일반적인 엔트로피 최소화에서 간과되기 쉬운 부분을 보완한다.
• 소스 데이터 접근이나 모델 재학습 없이도 테스트 배치에서만 작동하므로 플러그 앤 플레이 배포가 가능하다.
• 모든 사전 훈련된 CNN에 대해 종단 간(end-to-end) 적용되며, 추론 중에는 배치 정규화 레이어만 미세조정된다.

실험 결과

연구 질문

• RQ1 큰 도메인 분포 이탈 상황에서도 소스 및 테스트 배치 통계의 적응적 융합이 정규화 정확도 향상에 기여하는가?
• RQ2 신뢰도 높은 예측에 초점을 맞춘 일반화 엔트로피 최소화 손실이 기존 엔트로피 최소화보다 테스트 시간 적응에서 더 우수한 성능을 내는가?
• RQ3 통계 변환 연산이 미세조정 중 적응형 정규화 레이어의 성능 저하를 방지하는가?
• RQ4 기존의 자기지도 학습 손실(예: 회전, 지압)과 비교했을 때 DomainAdaptor는 테스트 시간 적응에서 얼마나 효과적인가?
• RQ5 다양한 도메인 일반화 벤치마크에서, 특히 저자료 환경에서 DomainAdaptor는 일관된 성능 향상을 달성할 수 있는가?

주요 결과

• 데이터 증강을 적용한 PACS 데이터셋에서 DomainAdaptor는 상위-1 정확도 96.41%를 기록하여 이전 SOTA 방법(85.89%)을 크게 능가한다.
• VLCS 벤치마크에서 DomainAdaptor는 기준 모델의 정확도 75.77%에서 78.50%로 향상되어 다양한 도메인 간 일반화 능력이 뛰어나다는 것을 입증한다.
• 소수의 샘플로 구성된 새로운 도메인 설정에서 DomainAdaptor는 기존 방법 대비 가장 두드러진 향상을 보이며, 저자료 환경에서의 효과성을 확인한다.
• 제거 분석 결과, 학습된 혼합 계수 α(1−α가 아닌)를 사용할 경우 성능 향상이 뚜렷하게 향상되어 유사도 기반 혼합 전략의 설계가 타당함을 입증한다.
• 회전 및 지압과 같은 자기지도 학습 손실과 비교했을 때, DomainAdaptor는 평균 정확도 2.0% 높은 74.60%를 기록(비교 기준 71.75%)하여 우수한 최적화 전략을 가짐을 증명한다.
• 다양한 사전 훈련된 SOTA 모델(MVRML 등)에 적용했을 때도 일관되게 성능 향상을 보이며, 재학습 없이도 PACS에서 정확도를 85.89%에서 88.12%로 향상시킨다.