[논문 리뷰] Fully Test-time Adaptation by Entropy Minimization

Dequan Wang, Evan Shelhamer외 3명|arXiv (Cornell University)|2020. 06. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 66인용 수 25

한 줄 요약

이 논문은 추론 시 분포 이탈에 대응하기 위해 딥 네URAL 네트워크를 테스트 시간에 적응시키는 데 전적으로 사용되는 TENT를 제안한다. 예측 엔트로피를 최소화함으로써, 재학습 없이 배치 정규화 통계 및 채널별 애핀 변환을 배치 단위로 온라인으로 최적화함으로써, ImageNet-C, SVHN-to-MNIST, VisDA-C 벤치마크에서 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

A model must adapt itself to generalize to new and different data during testing. In this setting of fully test-time adaptation the model has only the test data and its own parameters. We propose to adapt by test entropy minimization (tent): we optimize the model for confidence as measured by the entropy of its predictions. Our method estimates normalization statistics and optimizes channel-wise affine transformations to update online on each batch. Tent reduces generalization error for image classification on corrupted ImageNet and CIFAR-10/100 and reaches a new state-of-the-art error on ImageNet-C. Tent handles source-free domain adaptation on digit recognition from SVHN to MNIST/MNIST-M/USPS, on semantic segmentation from GTA to Cityscapes, and on the VisDA-C benchmark. These results are achieved in one epoch of test-time optimization without altering training.

연구 동기 및 목표

• 테스트 데이터 분포가 훈련 데이터와 다를 때 발생하는 도메인 이탈 문제를 해결한다.
• 훈련 데이터나 레이블에 접근할 수 없지만, 테스트 데이터와 모델 파라미터만을 사용하여 테스트 시간에 모델 적응을 가능하게 한다.
• 피팅 또는 모델 재학습 없이 분포 이탈 상황에서도 일반화 성능을 향상시키는 방법을 개발한다.
• ImageNet-C, VisDA-C, 디지트 인식 작업을 포함한 다양한 벤치마크에서 최신 기술 성능(SOTA)을 달성한다.
• 단일 테스트 시간 최적화 단계 내에서 작동하는 경량이며 온라인 적응 메커니즘을 설계한다.

제안 방법

• 테스트 시간 추론 중에 예측의 엔트로피를 최소화하여 모델의 신뢰도를 향상시킨다.
• 온라인 통계 업데이트를 사용하여 각 테스트 배치에 대해 실시간으로 배치 정규화 통계를 추정한다.
• 각 배치별로 특징 표현을 적응시키기 위해 학습 가능한 채널별 애핀 변환을 적용한다.
• 교차 엔트로피 손실에 엔트로피 정규화를 추가하여, 정규화 파라미터와 애핀 가중치를 확률적 최적화를 통해 업데이트한다.
• 메인 네트워크의 백본 가중치를 업데이트하지 않고, 각 테스트 배치에서 단일 전방-역전파 단계 내에서 엔드 투 엔드 최적화를 수행한다.
• 모멘타임 기반 업데이트 규칙을 사용하여 배치 간 적응 과정을 안정화한다.

실험 결과

연구 질문

• RQ1 훈련 데이터에 접근할 수 없더라도 엔트로피 최소화가 분포 이탈 상황에서 모델 적응을 효과적으로 이끌 수 있는가?
• RQ2 테스트 시간 엔트로피 최소화는 ImageNet-C, VisDA-C, 디지트 인식과 같은 다양한 벤치마크에서 얼마나 잘 일반화되는가?
• RQ3 기존의 도메인 일반화 및 자기지도 학습 방법과 비교해 볼 때, 완전한 테스트 시간 적응 방법의 성능은 어떠한가?
• RQ4 온라인 배치 정규화 및 애핀 적응이 손상되거나 이탈된 데이터 분포에 대한 강건성을 향상시킬 수 있는가?
• RQ5 단 한 번의 테스트 시간 최적화 에포크만으로도 이 방법이 최신 기술 성능(SOTA)을 달성할 수 있는가?

주요 결과

• TENT는 ImageNet-C에서 20.1%의 새로운 최신 기술 오차율을 달성하여 이전 방법들을 크게 앞서간다.
• SVHN-to-MNIST 벤치마크에서 TENT는 적응 없이 기준 모델 대비 정확도를 10% 이상 향상시켰다.
• GTA에서 Cityscapes로의 세그멘테이션 작업에서 TENT는 mIoU 51.2를 달성하여 고밀도 예측 작업에서 뛰어난 성능을 보였다.
• VisDA-C 벤치마크에서 TENT는 정확도 76.3%를 기록하여 테스트 시간 적응 분야에서 새로운 최신 기술 성능(SOTA)을 수립했다.
• 이 방법은 이미지 분류, 세그멘테이션, 디지트 인식 등 다양한 도메인과 작업 간에 일반화되며 일관된 성능 향상을 보였다.
• TENT는 모델의 훈련 절차를 수정하지 않고도 단 한 에포크의 테스트 시간 최적화만으로 이러한 결과를 달성했다.