[논문 리뷰] DELTA: degradation-free fully test-time adaptation

Bowen Zhao, Chen Chen외 1명|arXiv (Cornell University)|2023. 01. 30.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

DELTA는 정규화 통계의 부정확성과 클래스 편향 최적화라는 기존 방법의 두 가지 핵심 결함을 해결하기 위해 탈락 없는 완전한 테스트 시간 적응을 위한 플러그인 솔루션을 제안한다. 이를 위해 테스트 시간 배치 재정규화(TBR)를 도입하여 특징 정규화를 향상시키고, 동적 온라인 재가중법(DOT)을 통해 주로 발생하는 주요 클래스에 대한 편향을 완화한다. 이로 인해 클래스 불균형 및 종속적인 데이터 스트림을 포함한 다양한 테스트 환경에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Fully test-time adaptation aims at adapting a pre-trained model to the test stream during real-time inference, which is urgently required when the test distribution differs from the training distribution. Several efforts have been devoted to improving adaptation performance. However, we find that two unfavorable defects are concealed in the prevalent adaptation methodologies like test-time batch normalization (BN) and self-learning. First, we reveal that the normalization statistics in test-time BN are completely affected by the currently received test samples, resulting in inaccurate estimates. Second, we show that during test-time adaptation, the parameter update is biased towards some dominant classes. In addition to the extensively studied test stream with independent and class-balanced samples, we further observe that the defects can be exacerbated in more complicated test environments, such as (time) dependent or class-imbalanced data. We observe that previous approaches work well in certain scenarios while show performance degradation in others due to their faults. In this paper, we provide a plug-in solution called DELTA for Degradation-freE fuLly Test-time Adaptation, which consists of two components: (i) Test-time Batch Renormalization (TBR), introduced to improve the estimated normalization statistics. (ii) Dynamic Online re-weighTing (DOT), designed to address the class bias within optimization. We investigate various test-time adaptation methods on three commonly used datasets with four scenarios, and a newly introduced real-world dataset. DELTA can help them deal with all scenarios simultaneously, leading to SOTA performance.

연구 동기 및 목표

• 기존의 완전한 테스트 시간 적응 방법에서 발생하는 두 가지 핵심 결함인 정확하지 않은 정규화 통계와 추론 중 편향된 최적화를 식별하고 이를 해결하기 위해.
• 이전 방법이 크게 떨어지는 클래스 불균형 및 시간적으로 종속적인 데이터 스트림을 포함한 다양한 테스트 환경에서 적응의 강건성을 향상시키기 위해.
• 재학습이나 추가 계산 부담 없이 기존의 테스트 시간 적응 프레임워크와 호환되는 플러그-인 솔루션을 개발하기 위해.
• 독립적이고 종속적인, 균형 잡힌 클래스와 불균형 클래스 테스트 분포를 포함한 여러 벤치마크 시나리오에서 일관된 성능 향상을 달성하기 위해.
• 실시간 모델 적응에서 정규화 안정성과 최적화 공정성을 동시에 향상시키는 통합적이고 일반적인 솔루션을 제공하기 위해.

제안 방법

• 테스트 시간 배치 재정규화(TBR)는 테스트 시간 특징의 이동 평균을 사용하여 잘못된 배치 정규화 통계를 교정함으로써 추론 중 정규화를 보정한다.
• TBR는 정규화된 특징을 기울기 계산에 통합하여, 표준 테스트 시간 배치 정규화보다 더 정확하고 안정적인 통계에 기반한 최적화를 보장한다.
• 동적 온라인 재가중법(DOT)은 모멘텀 업데이트된 빈도 벡터를 기반으로 동적으로 클래스 가중치를 조정함으로써 비용 민감 학습을 적용한다.
• DOT은 사전 학습된 모델, 현재 테스트 스트림, 그리고 적응 방법 자체의 편향 신호를 통합하여 주로 발생하는 주요 클래스에 대한 과적합을 줄인다.
• 이 방법은 플러그인 방식으로 설계되어, TBR는 재학습 없이도 어떤 배치 정규화 기반 모델에나 적용 가능하고, DOT는 TENT나 엔트로피 최소화와 같은 기존 적응 기법과 쉽게 통합될 수 있다.
• 프레임워크는 CIFAR100-C와 ImageNet-C에서 네 가지 테스트 시나리오—균형 잡힌/독립적, 균형 잡힌/종속적, 불균형/독립적, 불균형/종속적—에 대해 평가되었다.

실험 결과

연구 질문

• RQ1 왜 기존의 테스트 시간 적응 방법은 클래스 불균형 또는 종속적인 데이터 스트림과 같은 복잡한 테스트 환경에서 성능이 저하되는가?
• RQ2 테스트 시간 배치 정규화에서의 정확하지 않은 정규화가 모델 성능과 일반화에 어떤 영향을 미치는가?
• RQ3 테스트 시간 적응 중 모델 최적화가 주로 발생하는 주요 클래스에 얼마나 편향되어 있으며, 이 편향은 다양한 데이터 분포에서 어떻게 변화하는가?
• RQ4 통합적이고 플러그인 방식의 솔루션은 다양한 테스트 시간 시나리오에서 정규화 정확도와 최적화 공정성을 동시에 향상시킬 수 있는가?
• RQ5 TBR와 DOT를 조합했을 때 최신 기술 수준 성능에 어떤 영향을 미치는가?

주요 결과

• DELTA는 CIFAR100-C에서 네 가지 테스트 시나리오 전반에서 최신 기술 수준 성능을 달성했으며, 기준 방법 대비 정확도 향상 폭이 10.0에서 15.0퍼센트포인트에 이르렀다.
• ImageNet-C의 DS+CI (ρ=0.5, π=0.1) 시나리오에서 TENT+DELTA는 평균 42.2%의 정확도를 기록했으며, TENT(22.4%)와 TENT+TBR(39.3%)를 크게 앞서며 뛰어난 성능을 보였다.
• Ent-W+DELTA는 DS+CI (ρ=0.5, π=0.05)에서 평균 45.3%의 정확도를 기록했고, Ent-W 단독 대비 10.7%에 비해 상당한 성능 향상을 보였다.
• 제거 실험을 통해 TBR와 DOT가 성능 향상에 독립적으로 기여하는 것으로 확인되었으며, TBR는 정규화 안정성을 향상시키고, DOT는 최적화의 클래스 편향을 감소시켰다.
• DS+CI (ρ=0.5, π=0.1) 시나리오에서 PL+DELTA는 평균 38.8%의 정확도를 기록했으며, PL 단독 대비 15.8포인트 향상되어 클래스 불균형 환경에서의 강건성을 입증했다.
• DELTA는 시간적 종속성과 클래스 불균형이 동시에 존재하는 모든 테스트 환경에서 일관되게 성능을 향상시켰으며, 이는 이전 방법이 심각한 성능 저하를 겪는 상황에서 두드러진다.