[논문 리뷰] Adaptive Debiasing Tsallis Entropy for Test-Time Adaptation

Xiangyu Wu, Dongming Jiang외 6명|arXiv (Cornell University)|2026. 02. 12.

Domain Adaptation and Few-Shot Learning인용 수 0

한 줄 요약

본 논문은 Adaptive Debiasing Tsallis Entropy(ADTE)를 도입하여 비전-언어 모델의 테스트 시 적응을 개선하기 위해 Tsallis 엔트로피의 클래스별 q를 맞춤화하고, 편향된 사전 학습에서 비롯된 편향을 완화하며, ImageNet 변형 및 10개의 교차 도메인 벤치마크에서 최첨단 성능을 달성한다.

ABSTRACT

Mainstream Test-Time Adaptation (TTA) methods for adapting vision-language models, e.g., CLIP, typically rely on Shannon Entropy (SE) at test time to measure prediction uncertainty and inconsistency. However, since CLIP has a built-in bias from pretraining on highly imbalanced web-crawled data, SE inevitably results in producing biased estimates of uncertainty entropy. To address this issue, we notably find and demonstrate that Tsallis Entropy (TE), a generalized form of SE, is naturally suited for characterizing biased distributions by introducing a non-extensive parameter q, with the performance of SE serving as a lower bound for TE. Building upon this, we generalize TE into Adaptive Debiasing Tsallis Entropy (ADTE) for TTA, customizing a class-specific parameter q^l derived by normalizing the estimated label bias from continuously incoming test instances, for each category. This adaptive approach allows ADTE to accurately select high-confidence views and seamlessly integrate with a label adjustment strategy to enhance adaptation, without introducing distribution-specific hyperparameter tuning. Besides, our investigation reveals that both TE and ADTE can serve as direct, advanced alternatives to SE in TTA, without any other modifications. Experimental results show that ADTE outperforms state-of-the-art methods on ImageNet and its five variants, and achieves the highest average performance on 10 cross-domain benchmarks, regardless of the model architecture or text prompts used. Our code is available at https://github.com/Jinx630/ADTE.

연구 동기 및 목표

• 편향된 사전 학습 데이터로 인한 엔트로피 기반 테스트 시 적응에서 비전-언어 모델의 편향을 동기 부여하고 해결한다.
• TTA에서 높은 신뢰도 뷰를 선택하기 위한 Shannon 엔트로피의 편향 제거 대안으로 Tsallis 엔트로피를 제안한다.
• 추정된 라벨 편향으로부터 도출된 클래스별 q^l를 갖는 Adaptive Debiasing Tsallis Entropy(ADTE)를 도입한다.
• 로짓 보정에서 영감을 받은 바이어스 보정 및 메모리 기반 편향 추정 전략과 함께 ADTE를 통합한다.
• 아키텍처- 및 프롬프트-무관한 성능으로 ImageNet 변형 및 10개 교차 도메인 벤치마크 전반에서 실증적 개선을 보여준다.

제안 방법

• 비가용적(non-extensive) 매개변수 q를 갖는 Tsallis 엔트로피로 Shannon 엔트로피를 일반화한다.
• q가 1에 가까워질수록 TE가 SE로 수렴함을 보이고, 편향 분포에서 더 작은 q가 상위 K 누적 신뢰도(Tcr_K)를 더 높일 수 있음을 보인다.
• 정규화된 추정 라벨 편향에서 도출된 클래스별 q^l를 할당하여 머리(head)와 꼬리(tail) 간에 적응적 바이어스 보정을 가능하게 하는 ADTE를 도입한다.
• 메모리 은행과 의사 라벨을 사용하여 클래스 편향을 추정하고 Jacobi 반복을 통해 사전 확률(prior probabilities)을 구한다(편향 추정용).
• H_ADTE를 합산하려 P_l^{q^l}/(1−q^l)의 합으로 계산하여 보강된 뷰를 평가하고, 상위 신뢰 뷰를 선택한 뒤 그 예측치를 합산하여 최종 결정으로 사용한다.
• 바이어스 추정, ADTE 계산, 신뢰 뷰 선택, 예측 집계를 결합하는 알고리즘 파이프라인을 제시한다.

Figure 1: (a) VLM bias, showing higher confidence and accuracy for head classes and lower confidence and accuracy for tail classes. (b) The standard Shannon Entropy ( SE )-based method is widely used in TTA. (c) and (d) Our proposed method, which uses Tsallis Entropy ( TE ) and Adaptive Debiasing Ts

실험 결과

연구 질문

• RQ1 조정 가능한 q를 가진 Tsallis 엔트로피가 테스트 시 적응에서 편향되고 불균형한 클래스 분포 하의 불확실성을 Shannon 엔트로피보다 더 잘 포착할 수 있는가?
• RQ2 클래스별(head/tail) 응용의 Tsallis 매개변수 q^l의 적응이 비전-언어 모델의 TTA에서 높은 신뢰도 뷰 선정과 최종 예측을 개선하는가?
• RQ3 분포 특화 하이퍼파라미터 튜닝 없이도 비지도식, 스트리밍 편향 추정 및 정규화 방식이 q^l을 신뢰성 있게 도출할 수 있는가?
• RQ4 ADTE 기반 TTA 방법이 모델 아키텍처나 프롬프트와 무관하게 ImageNet 변형 및 다양한 교차 도메인 벤치마크에서 최첨단 접근법을 능가하는가?

주요 결과

• ADTE는 ViT-B/16 및 ViT-L/14 백본 모두에서 템플릿 및 텍스트 설명 프례트를 사용하여 ImageNet 및 다섯 가지 변형에서 일관되게 최첨단 방법을 능가한다.
• ADTE는 10개의 교차 도메인 벤치마크에서 최고 평균 성능을 달성하여 강력한 교차 도메인 일반화를 보여준다.
• q→1일 때 TE가 SE로 수렴하여 TE가 SE의 일반화임을 확립한다; 작은 q가 편향하에서 높은 신뢰도 뷰 선정을 향상시킨다.
• 클래스별 q^l은 범주별 예측된 편향과 정렬된 적응형 디바이어스 제거를 가능하게 하여 머리/꼬리 클래스 편향에 대한 견고성을 개선한다.
• 아블레이션에서 ADTE 또는 LA를 제거하면 성능이 저하되어, 클래스별 엔트로피 디바이어스 제거 및 로짓 보정의 기여를 강조한다.

Figure 2: Comparison between SE and TE .