[論文レビュー] Entropy is not Enough for Test-Time Adaptation: From the Perspective of Disentangled Factors

Jonghyun Lee, Dahuin Jung+5 more|arXiv (Cornell University)|Mar 12, 2024

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

論文は、エントロピーだけではテスト時適応（TTA）に信頼性がないことを、因子が分離されているため示し、DeYOとPLPDを導入してCPR (shape) 因子を活用し堅牢な適応を行う。

ABSTRACT

Test-time adaptation (TTA) fine-tunes pre-trained deep neural networks for unseen test data. The primary challenge of TTA is limited access to the entire test dataset during online updates, causing error accumulation. To mitigate it, TTA methods have utilized the model output's entropy as a confidence metric that aims to determine which samples have a lower likelihood of causing error. Through experimental studies, however, we observed the unreliability of entropy as a confidence metric for TTA under biased scenarios and theoretically revealed that it stems from the neglect of the influence of latent disentangled factors of data on predictions. Building upon these findings, we introduce a novel TTA method named Destroy Your Object (DeYO), which leverages a newly proposed confidence metric named Pseudo-Label Probability Difference (PLPD). PLPD quantifies the influence of the shape of an object on prediction by measuring the difference between predictions before and after applying an object-destructive transformation. DeYO consists of sample selection and sample weighting, which employ entropy and PLPD concurrently. For robust adaptation, DeYO prioritizes samples that dominantly incorporate shape information when making predictions. Our extensive experiments demonstrate the consistent superiority of DeYO over baseline methods across various scenarios, including biased and wild. Project page is publicly available at https://whitesnowdrop.github.io/DeYO/.

研究の動機と目的

• Distribution shifts の下でTTAにおける信頼度指標としてのエントロピーが不十分である理由を動機づける。
• 有害なサンプルを説明する分離された因子（CPR vs TRAP）を導入する。
• エントロピーと形状ベースの信頼度指標（PLPD）を組み合わせた新しいTTA法DeYOを提案する。
• ImageNet-C、ColoredMNIST、WaterBirds などの穏やかなベンチマークと過激なシフトでのDeYOの優位性を示す。

提案手法

• 潜在的に分離された因子（CPRとTRAP）に基づく理論的フレームワークを定義してTTAの予測を分析する。
• 形状破壊的変換（patch-shuffle）後の予測変化を測定してPseudo-Label Probability Difference (PLPD) を提案する。
• サンプル選択をEntropyとPLPDで行い、サンプル重み付けをEntropyとPLPDの信号を組み合わせて行う、DeYOを開発する。
• 物体の破壊的変換としてpatch-shufflingを用い、CPR（形状）因子を分離する。
• DeYOの損失をエントロピー目的関数の重み付けとして定式化し、CPR因子に根ざすサンプルを強調する。

実験結果

リサーチクエスチョン

• RQ1 さまざまな分布シフト、特に偽相関を含む場合でも、エントロピーはTTAの信頼性の高い指標となるか。
• RQ2 分離された因子（CPR vs TRAP）は、エントロピーが見逃すTTAに有害なサンプルを明らかにできるか。
• RQ3 エントロピーと形状ベースのPLPD指標を組み合わせることで、穏やかおよび過酷なシナリオでのTTAの頑健性が向上するか。
• RQ4 過激な偽相関と多様なシフト（ImageNet-C、ColoredMNIST、WaterBirds）に対してDeYOはどのように性能を示すか。

主な発見

• エントロピーに基づくサンプル選択は、偽相関の下でTTAを損ねる可能性があり、低エントロピーのサンプルはTRAP因子に依存することがある。
• PLPDは予測に対するCPR因子（物体の形状）の影響を捉え、エントロピーを補完する。
• DeYOは穏やかなシナリオと過酷なシナリオの両方でImageNet-Cのベースラインを一貫して上回り、EATAやSARと競合する性能を示す。
• ColoredMNISTとWaterBirdsで強力な向上を達成し、ColoredMNISTの worst-group accuracy でランダム推測を上回る性能を含む。
• wildベンチマーク（混合、ラベルシフト、バッチサイズ1）では、複数モデルと正規化条件でベースラインを跨いで頑健な改善を示す。