[논문 리뷰] Tent: Fully Test-time Adaptation by Entropy Minimization

Dequan Wang, Evan Shelhamer외 3명|arXiv (Cornell University)|2020. 06. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 51인용 수 284

한 줄 요약

Tent은 채널별 특징 모듈레이션을 통해 예측 엔트로피를 최소화하여 전적으로 테스트 시점 적응을 수행하고, 소스 데이터 없이 추론 중에 업데이트하며, 최첨단 견고성과 도메인 적응 성과를 달성합니다.

ABSTRACT

A model must adapt itself to generalize to new and different data during testing. In this setting of fully test-time adaptation the model has only the test data and its own parameters. We propose to adapt by test entropy minimization (tent): we optimize the model for confidence as measured by the entropy of its predictions. Our method estimates normalization statistics and optimizes channel-wise affine transformations to update online on each batch. Tent reduces generalization error for image classification on corrupted ImageNet and CIFAR-10/100 and reaches a new state-of-the-art error on ImageNet-C. Tent handles source-free domain adaptation on digit recognition from SVHN to MNIST/MNIST-M/USPS, on semantic segmentation from GTA to Cityscapes, and on the VisDA-C benchmark. These results are achieved in one epoch of test-time optimization without altering training.

연구 동기 및 목표

• 레이블이 없는 목표 데이터와 모델 매개변수만 사용 가능한 상황에서의 완전한 테스트 시점 적응의 필요성을 제시한다.
• 적응을 이끄는 엔트로피 기반 목표(테스트 엔트로피)를 제안한다.
• 저차원적 채널별 특징 조절을 통해 효율적인 온라인 적응을 가능하게 한다.
• 훈련 데이터와 절차를 보존하고, 훈련을 변경하지 않는 상태에서 테스트 시점에서만 적응한다.

제안 방법

• 감독 학습을 위해 학습된 확률적이고 미분 가능한 모델을 사용한다.
• 테스트 시점 목표를 목표 데이터의 예측 엔트로피를 최소화하는 것으로 정의한다.
• 채널-별 선형 매개변수(gamma, beta)를 업데이트하고 층별 통계(mu, sigma)를 추정하여 특징을 모듈레이션한다.
• 소스 데이터에 접근하지 않고 테스트 중 배치 단위로 정규화 통계와 선형 매개변수를 업데이트한다.
• 엔트로피 손실로부터의 그래디언트를 사용해 모듈레이션 매개변수(모델 매개변수의 작은 부분)만 최적화한다.
• 온라인과 오프라인 적응 프로토콜을 제공한다: 온라인 업데이트는 테스트 데이터와 함께 계속되고, 오프라인 업데이트는 추론에 앞선다.

실험 결과

연구 질문

• RQ1 레이블링되지 않은 테스트 데이터에서의 엔트로피 최소화만으로도 소스 데이터 없이 효과적인 테스트 시점 적응을 이끌 수 있는가?
• RQ2 온더플라이 통계 추정과 함께 채널-별 특징 모듈레이션(gamma, beta)이 다양한 작업에서 충분하고 효율적인가?
• RQ3 손상, 도메인 시프트, 시뮬레이션-리얼 설정에서 Tent은 기존의 테스트 시점 방법 및 도메인 적응 방법과 어떻게 비교되는가?

주요 결과

• Tent은 ImageNet-C에서 온라인 44.0% 오류 및 오프라인 적응 42.3%로 최첨단 견고성을 달성한다.
• CIFAR-10-C와 CIFAR-100-C에서 Tent은 가장 강한 손상 하에 각각 14.3%와 37.3%의 오류를 달성하여 여러 베이스라인보다 우수하다.
• 숫자 도메인 시프트(SVHN → MNIST, MNIST-M, USPS)의 경우, Tent은 배치 정규화 기반의 베이스라인보다 개선되며, 종종 소스 데이터를 사용하지 않고도 소스 학습 도메인 적응 방법에 필적한다.
• Tent은 대형 모델과 시맨틱 분할(Cityscapes) 및 VisDA-C에도 확장 가능하며, 테스트 시점 엔트로피 최소화로 상당한 이득을 얻는다.
• 모듈레이션 매개변수(gamma, beta)만 적응하는 경우 업데이트가 거의 필요 없고(일반적으로 매개변수의 <1%), 온라인 추론을 지원한다.