[논문 리뷰] MixNorm: Test-Time Adaptation Through Online Normalization Estimation

Xuefeng Hu, Mustafa Gökhan Uzunbaş외 5명|arXiv (Cornell University)|2021. 10. 21.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 16

한 줄 요약

MixNorm는 테스트 시 적응을 위한 새로운 방법을 제안하며, 단일 테스트 샘플에서 유연한 융합을 통해 전역 통계와 국소 통계를 추정함으로써 대규모 배치나 단일 도메인 가정에 의존하지 않도록 한다. 이는 임의의 배치 크기와 혼합 분포를 가진 실제 환경에서 TENT과 같은 최신 기법들을 뛰어넘는 성능을 보이며, 소스 프리 도메인 적응 및 제로샷 분류에서도 성능 향상을 이룬다.

ABSTRACT

We present a simple and effective way to estimate the batch-norm statistics during test time, to fast adapt a source model to target test samples. Known as Test-Time Adaptation, most prior works studying this task follow two assumptions in their evaluation where (1) test samples come together as a large batch, and (2) all from a single test distribution. However, in practice, these two assumptions may not stand, the reasons for which we propose two new evaluation settings where batch sizes are arbitrary and multiple distributions are considered. Unlike the previous methods that require a large batch of single distribution during test time to calculate stable batch-norm statistics, our method avoid any dependency on large online batches and is able to estimate accurate batch-norm statistics with a single sample. The proposed method significantly outperforms the State-Of-The-Art in the newly proposed settings in Test-Time Adaptation Task, and also demonstrates improvements in various other settings such as Source-Free Unsupervised Domain Adaptation and Zero-Shot Classification.

연구 동기 및 목표

• 기존 테스트 시 적응(TTA) 기법에서 비현실적인 가정(예: 대규모 온라인 배치, 단일 이동 테스트 분포)을 해결하기 위해.
• 실시간 온라인 적응이 가능한, 단일 테스트 샘플에서 정확한 배치 정규화 통계를 추정할 수 있는 방법을 개발하기 위해.
• 작은 배치 크기 또는 혼합 배치에서 온라인으로 도착하는 테스트 샘플에 대응하는 모델의 강건성을 향상시키기 위해.
• 실제 배포 조건을 반영하는 새로운 현실적인 TTA 벤치마크에서 방법을 평가하기 위해.
• 분포 이동 외에도 소스 프리 도메인 적응 및 제로샷 분류와 같은 작업으로 TTA의 이점을 확장하기 위해.

제안 방법

• MixNorm는 기존 배치 정규화 레이어를 역사적 샘플의 이동 평균 통계와 현재 입력 및 공간 증강된 샘플의 국소 통계를 융합하는 하이브리드 정규화 레이어로 대체한다.
• 전역(이동 평균)과 국소(현재 샘플 + 증강) 통계를 가중치 기반 융합하며, 기여도를 조절하기 위해 학습 가능한 계수를 사용한다.
• 단일 도착 샘플만을 사용하여 실시간으로 정규화 통계를 업데이트하는 새로운 온라인 추정 메커니즘을 도입하여 배치 의존성을 제거한다.
• 입력에 대한 공간 증강(예: 자르기, 뒤집기)을 활용하여 단일 샘플에서도 신뢰할 수 있는 국소 통계를 계산한다.
• 실험 결과에서 애파라미터(α, β)가 통계 추정 성능 향상에 기여하지 않음을 확인하여, 정규화 레이어의 애파라미터를 고정한다.
• 표준 딥러닝 모델과 호환되며, 재학습 없이 사전 학습된 모델의 배치 정규화 레이어를 교체함으로써 적용 가능하다.

실험 결과

연구 질문

• RQ1 큰 온라인 배치의 테스트 데이터에 의존하지 않고도 테스트 시 적응을 효과적으로 수행할 수 있는가?
• RQ2 테스트 샘플이 여러 분포에서 온 경우나 작은 배치 크기에서 올 경우 TTA 기법의 성능은 어떻게 저하되는가?
• RQ3 전역 통계와 국소 통계를 유연하게 융합하여 단일 테스트 샘플에서 정확한 배치 정규화 통계를 추정할 수 있는가?
• RQ4 MixNorm는 소스 프리 비지도 도메인 적응 및 제로샷 분류 작업에서 일반화 성능을 향상시키는가?
• RQ5 국소 통계 추정의 안정성과 정확성에 대해 공간 증강의 수가 미치는 영향은 무엇인가?

주요 결과

• ResNet-50를 사용할 때 ImageNet-C에서 혼합된 오염 종류를 가진 설정에서 MixNorm은 31.96%의 오차율을 기록하며, 현실적인 평가 프로토콜 하에서 TENT 및 기타 베이스라인을 뛰어넘는 성능을 보였다.
• 전역 통계 80%와 국소 통계 20%를 융합할 경우, ImageNet-C에서 오차율이 31.96%로 감소하여 적응 융합의 효과를 입증했다.
• 제로샷 분류에서 MixNorm은 CLIP의 CIFAR-100 정확도를 40.97%에서 45.13%로 향상시키며, Stanford-Cars에서는 53.80%에서 54.01%로 상승시켜 대규모 사전 학습 모델에서도 성능 향상을 입증했다.
• 소스 프리 도메인 적응에서 MixNormBN은 SVHN→MNIST에서 7.95%의 오차율을 기록하며, TENT(8.17%)와 BN(22.70%)을 상당한 격차로 앞서며 성능을 뛰어넘었다.
• 국소 통계 추정에 사용된 증강 수의 영향은 미미하며, 1에서 15개의 증강에 걸쳐 오차율이 0.4% 이내로 변동하여 강건성과 효율성을 입증했다.
• 학습 가능한 애파라미터(α, β)의 사용은 성능 향상에 측정 가능한 영향을 주지 않아, 추가 학습 가능한 파rameter 없이도 적응 통계 추정이 이미 최적임을 시사한다.