[論文レビュー] Adaptive Debiasing Tsallis Entropy for Test-Time Adaptation

Xiangyu Wu, Dongming Jiang+6 more|arXiv (Cornell University)|Feb 12, 2026

Domain Adaptation and Few-Shot Learning被引用数 0

ひとこと要約

本論文は Adaptive Debiasing Tsallis Entropy (ADTE) を提案し、Tsallis 熱力学エントロピーのクラス特異的 q を用いて視覚と言語モデルのテスト時適応を改善。データ前処理の不均衡によるバイアスを緩和し、ImageNet 系列および10件のクロスドメインベンチマークで最先端の結果を達成。

ABSTRACT

Mainstream Test-Time Adaptation (TTA) methods for adapting vision-language models, e.g., CLIP, typically rely on Shannon Entropy (SE) at test time to measure prediction uncertainty and inconsistency. However, since CLIP has a built-in bias from pretraining on highly imbalanced web-crawled data, SE inevitably results in producing biased estimates of uncertainty entropy. To address this issue, we notably find and demonstrate that Tsallis Entropy (TE), a generalized form of SE, is naturally suited for characterizing biased distributions by introducing a non-extensive parameter q, with the performance of SE serving as a lower bound for TE. Building upon this, we generalize TE into Adaptive Debiasing Tsallis Entropy (ADTE) for TTA, customizing a class-specific parameter q^l derived by normalizing the estimated label bias from continuously incoming test instances, for each category. This adaptive approach allows ADTE to accurately select high-confidence views and seamlessly integrate with a label adjustment strategy to enhance adaptation, without introducing distribution-specific hyperparameter tuning. Besides, our investigation reveals that both TE and ADTE can serve as direct, advanced alternatives to SE in TTA, without any other modifications. Experimental results show that ADTE outperforms state-of-the-art methods on ImageNet and its five variants, and achieves the highest average performance on 10 cross-domain benchmarks, regardless of the model architecture or text prompts used. Our code is available at https://github.com/Jinx630/ADTE.

研究の動機と目的

• 視覚と言語モデルの entropy ベースのテスト時適応における、前処理データの不均衡によるバイアスを動機づけて対処する。
• TTA における高信頼ビューの選択には Shannon エントロピーの代わりに Tsallis エントロピーをデバイアス緩和の手法として提案する。
• 推定ラベルバイアスから導出されたクラス特異的 q^l を用いて Adaptive Debiasing Tsallis Entropy (ADTE) を導入する。
• ADTE をログイット補正に触発したバイアス補正とメモリベースのバイアス推定戦略と統合する。
• ImageNet 系列および10件のクロスドメインベンチマークにおいて、アーキテクチャやプロンプトに依存しない性能の実証的改善を示す。

提案手法

• Shannon エントロピーを非エクステンシブパラメータ q を持つ Tsallis エントロピーへ一般化する。
• TE が q→1 のとき SE に縮退すること、そして小さな q がバイアスのある分布でより高い Top-K 累積信頼性 (Tcr_K) を得る可能性を証明する。
• 正規化された推定ラベルバイアスから得られる per-class q^l を割り当てることで、ヘッド/テールクラス間の適応的なデバイアス補正を実現する。
• メモリーバンクと擬似ラベルを使用してクラスバイアスを推定し、バイアス推定のための Jacobi 反復法で事前確率を解く。
• H_ADTE を sum_l P_l^{q^l}/(1−q^l) として augmented views のスコアリングを行い、信頼度の高いビューを選択し、それらの予測を集約して最終決定に反映する。
• バイアス推定、ADTE 計算、信頼ビューの選択、予測の集約を組み合わせるアルゴリズム的パイプラインを提供する。

Figure 1: (a) VLM bias, showing higher confidence and accuracy for head classes and lower confidence and accuracy for tail classes. (b) The standard Shannon Entropy ( SE )-based method is widely used in TTA. (c) and (d) Our proposed method, which uses Tsallis Entropy ( TE ) and Adaptive Debiasing Ts

実験結果

リサーチクエスチョン

• RQ1 Tsallis エントロピー（可変 q を含む）は、テスト時適応における不均衡で偏ったクラス分布下の不確実性を Shannon エントロピーよりもうまく捉えられるか。
• RQ2 ヘッド/テールのクラスに対する per-class q^l の適応が、 vision-language モデルの TTA における高信頼ビュー選択と最終予測を改善するか。
• RQ3 分布依存のハイパーパラメータ調整を必要としない、教師なしのストリーミング型バイアス推定と正規化で q^l を信頼性高く導出できるか。
• RQ4 ADTE ベースの TTA 手法は、モデルアーキテクチャやプロンプトに依存せず、ImageNet 系列および多様なクロスドメインベンチマークで現状動作を上回るか。

主な発見

• ADTE は ViT-B/16 および ViT-L/14 のバックボーンを用い、テンプレートおよびテキスト記述プロンプトで ImageNet および5つのバリアントにおいて一貫して最先端より上回る。
• ADTE は10件のクロスドメインベンチマークで最も高い平均性能を達成し、強いクロスドメイン一般化を示す。
• TE は q→1 のとき SE に縮退することを示し、TE は SE の一般化であることを確立する。バイアス下で小さな q は高信頼ビュー選択を改善する。
• クラス特異的 q^l により、カテゴリごとの予測バイアスに沿った適応的デバイアス緩和が可能となり、ヘッド/テールクラスのバイアスに対するロバスト性が向上する。
• アブレーション実験では ADTE または LA を除去すると性能が低下し、クラス別エントロピーのデバイアス緩和とロジット調整の寄与が強調される。

Figure 2: Comparison between SE and TE .