[论文解读] When and Where to Reset Matters for Long-Term Test-Time Adaptation

Taejun Lim, Joong‐won Hwang+1 more|arXiv (Cornell University)|Mar 4, 2026

Domain Adaptation and Few-Shot Learning被引用 0

一句话总结

提出自适应且选择性重置（ASR），用于长期持续测试时的适应，具有一个基于重要性的正则化项和在线适应调整，以防止模型崩溃并保留有用知识。

ABSTRACT

When continual test-time adaptation (TTA) persists over the long term, errors accumulate in the model and further cause it to predict only a few classes for all inputs, a phenomenon known as model collapse. Recent studies have explored reset strategies that completely erase these accumulated errors. However, their periodic resets lead to suboptimal adaptation, as they occur independently of the actual risk of collapse. Moreover, their full resets cause catastrophic loss of knowledge acquired over time, even though such knowledge could be beneficial in the future. To this end, we propose (1) an Adaptive and Selective Reset (ASR) scheme that dynamically determines when and where to reset, (2) an importance-aware regularizer to recover essential knowledge lost due to reset, and (3) an on-the-fly adaptation adjustment scheme to enhance adaptability under challenging domain shifts. Extensive experiments across long-term TTA benchmarks demonstrate the effectiveness of our approach, particularly under challenging conditions. Our code is available at https://github.com/YonseiML/asr.

研究动机与目标

• 激励长期持续 TTA 中模型崩溃的问题以及对更智能的重置策略的需求。
• 引入 ASR，基于预测类别集中度动态决定何时以及在何处重置。
• 使用基于 Fisher 信息的重要性感知正则化来缓解重置带来的知识丢失。
• 通过在线适应调整在具有挑战性领域漂移时提升适应性。
• 在长期 TTA 基准上进行实验验证，显示性能提升。

提出的方法

• 从批量平均逻辑输出定义预测集中度 C_t 以检测崩溃风险。
• 通过指数移动平均计算累积集中度 C̄_t，当前当 C_t > C̄_{t-1} 时触发重置。
• 使用一个渐进式、按严重性感知的比例 r_t 来确定应重置哪些层，并随崩溃风险放大。
• 应用基于重要性的 Fisher 信息累积正则化项，将重置参数与先前任务知识对齐。
• 为重置后的知识引入混合 CMA/EMA 累积方案以支持正则化项。
• 使用领域差异 φ_t 实时调整以重新参数化正则化系数和动量参数，进行在线适应。

实验结果

研究问题

• RQ1 如何自适应触发重置以防止长期 TTA 中的模型崩溃？
• RQ2 在网络中应在何处进行重置以最小化知识丢失？
• RQ3 基于重要性的正则化能否在重置后恢复被擦除的关键先前任务知识？
• RQ4 如何在线调整以应对具有挑战性的领域漂移？
• RQ5 基于 ASR 的策略是否能在长期 TTA 基准上提升鲁棒性？

主要发现

• ASR 在 CCC 基准上相对于基线获得更优的平均性能，特别是在 CCC-Hard 场景。
• ASR 在长期易崩溃设置中对现有方法有显著提升，包括在 CCC-Hard 上达到 44.12% 的改进。
• 基于重要性的 Fisher 正则化有助于在重置后恢复关键的先前任务知识。
• 基于领域差异的实时适应调整在具有挑战性的领域漂移下提升了稳定性。
• ASR 对 ViT 主干和跨多数据集的非独立同分布测试设置具有良好泛化性。