[論文レビュー] When and Where to Reset Matters for Long-Term Test-Time Adaptation

Taejun Lim, Joong‐won Hwang+1 more|arXiv (Cornell University)|Mar 4, 2026

Domain Adaptation and Few-Shot Learning被引用数 0

ひとこと要約

Adaptive and Selective Reset (ASR)を長期継続的なテスト時適応に適用する提案。重要度を意識した正則化と即時適応調整で、モデルの崩壊を防ぎ有用な知識を保持する。

ABSTRACT

When continual test-time adaptation (TTA) persists over the long term, errors accumulate in the model and further cause it to predict only a few classes for all inputs, a phenomenon known as model collapse. Recent studies have explored reset strategies that completely erase these accumulated errors. However, their periodic resets lead to suboptimal adaptation, as they occur independently of the actual risk of collapse. Moreover, their full resets cause catastrophic loss of knowledge acquired over time, even though such knowledge could be beneficial in the future. To this end, we propose (1) an Adaptive and Selective Reset (ASR) scheme that dynamically determines when and where to reset, (2) an importance-aware regularizer to recover essential knowledge lost due to reset, and (3) an on-the-fly adaptation adjustment scheme to enhance adaptability under challenging domain shifts. Extensive experiments across long-term TTA benchmarks demonstrate the effectiveness of our approach, particularly under challenging conditions. Our code is available at https://github.com/YonseiML/asr.

研究の動機と目的

• 長期的な継続的TTAにおけるモデル崩壊の問題提起と、より賢明なリセット戦略の必要性。
• 予測クラスの集中度に基づいてリセットの時期・場所を動的に決定するASRの導入。
• Fisher情報を用いた重要度を考慮した正則化を用いてリセットによる知識喪失を緩和。
• 即時適応調整を用いて難易度の高いドメインシフトに対する適応性を高める。
• 長期TTAベンチマークでの実証的検証を通じて性能向上を示す。

提案手法

• バッチ平均ロジットから崩壊リスクを検出するための予測集中度C_tを定義。
• 指数移動平均を介して累積集中度C̄_tを計算し、C_t > C̄_{t-1} のときリセットをトリガー。
• 崩壊リスクに比例して拡大する選択的・深刻度認識の割合r_tを用いて、どの層をリセットするかを決定。
• 累積Fisher情報を用いた重要度を考慮した正則化項を適用し、リセットパラメータを前タスクの知識へ整合。
• リセット後の知識を支える正則化を補うため、知識蓄積のハイブリッド CMA/EMA積み上げ方式を導入。
• 域の不一致φ_tを用いて適応を即時に調整し、正則化係数とモーメントパラメータを再パラメータ化。

実験結果

リサーチクエスチョン

• RQ1 長期的なTTAにおいてモデル崩壊を防ぐためにリセットを適応的にトリガーするにはどうすればよいか。
• RQ2 知識喪失を最小化するためにはネットワークのどの箇所でリセットを行うべきか。
• RQ3 重要度を意識した正則化はリセットで消去された重要な前タスク知識を回復できるか。
• RQ4 難易度の高いドメインシフトに対応するための適応を即時にどのように調整するか。
• RQ5 ASRベースの戦略は長期TTAベンチマークでロバスト性を向上させるか。

主な発見

• ASRはCCCベンチマーク（特にCCC-Hard）でベースラインを上回る平均性能を達成。
• 長期的な崩壊リスクが高い設定でSOTAを大きく上回り、CCC-Hardでの44.12%の改善を含む。
• 重要度を考慮したFisher正則化はリセット後の重要な前タスク知識の回復を促進。
• ドメイン不一致に基づく即時適応調整は難易度の高いドメインシフト下での安定性を向上。
• ASRはViTバックボーンおよび非i.i.d.テスト設定への一般化性が高く、複数データセットで適用可能。