[논문 리뷰] When and Where to Reset Matters for Long-Term Test-Time Adaptation

Taejun Lim, Joong‐won Hwang외 1명|arXiv (Cornell University)|2026. 03. 04.

Domain Adaptation and Few-Shot Learning인용 수 0

한 줄 요약

장기 지속적 테스트-타임 적응을 위한 Adaptive and Selective Reset (ASR)을 제안하고, 중요도 인식 정규화기와 즉시 적응 조정을 통해 모델 붕괴를 방지하고 유용한 지식을 보존한다.

ABSTRACT

When continual test-time adaptation (TTA) persists over the long term, errors accumulate in the model and further cause it to predict only a few classes for all inputs, a phenomenon known as model collapse. Recent studies have explored reset strategies that completely erase these accumulated errors. However, their periodic resets lead to suboptimal adaptation, as they occur independently of the actual risk of collapse. Moreover, their full resets cause catastrophic loss of knowledge acquired over time, even though such knowledge could be beneficial in the future. To this end, we propose (1) an Adaptive and Selective Reset (ASR) scheme that dynamically determines when and where to reset, (2) an importance-aware regularizer to recover essential knowledge lost due to reset, and (3) an on-the-fly adaptation adjustment scheme to enhance adaptability under challenging domain shifts. Extensive experiments across long-term TTA benchmarks demonstrate the effectiveness of our approach, particularly under challenging conditions. Our code is available at https://github.com/YonseiML/asr.

연구 동기 및 목표

• 장기 지속적 TTA에서 모델 붕괴 문제와 더 똑똑한 리셋 전략의 필요성을 제시한다.
• 예측된 클래스 집중도를 기반으로 언제 어디서 리셋할지 동적으로 결정하기 위해 ASR을 도입한다.
• Fisher 정보 기반의 중요도 인식 정규화를 사용하여 리셋으로 인한 지식 손실을 완화한다.
• 도전적인 도메인 시프트에서 즉시(adaptation) 조정을 통해 적응력을 향상시킨다.
• 지표가 긴 TTA 벤치마크에서 성능이 향상의 실증적 검증을 한다.

제안 방법

• 붕괴 위험을 감지하기 위해 배치 평균 로짓에서 예측 집중도 C_t를 정의한다.
• 지수 가중 이동 평균을 통해 누적 집중도 C̄_t를 계산하고 C_t > C̄_{t-1}일 때 리셋을 트리거한다.
• 붕괴 위험에 비례하도록 스케일되는 선택적이고 심각도 인식된 비율 r_t을 사용하여 어떤 층을 리셋할지 결정한다.
• 축적된 Fisher 정보를 사용한 중요도 인식 정규화를 적용하여 리셋 파라미터를 이전 작업 지식에 맞춘다.
• 리셋 이후 지식을 위한 하이브리드 CMA/EMA 누적 스킴을 도입하여 정규화를 지원한다.
• 도메인 차이 φ_t를 사용하여 즉시 적응을 조정하고 정규화 계수와 모멘트 매개변수를 재매개변수화한다.

실험 결과

연구 질문

• RQ1 장기 TTA에서 모델 붕괴를 방지하기 위해 리셋을 어떻게 적응적으로 트리거할 수 있을까?
• RQ2 네트워크의 어떤 위치에서 리셋이 발생해야 지식 손실을 최소화할까?
• RQ3 중요도 인식 정규화기가 리셋으로 지워진 핵심 지식을 되찾을 수 있을까?
• RQ4 도전적인 도메인 시프트를 처리하기 위해 적응을 온-더-플라이로 어떻게 조정할 수 있을까?
• RQ5 ASR 기반 전략이 장기 TTA 벤치마크 전반에서 로버스트성을 향상시키는가?

주요 결과

• ASR은 CCC 벤치마크에서 특히 CCC-Hard를 포함한 baseline 대비 평균 성능에서 우수한 성능을 달성한다.
• ASR은 장기 붕괴 취약 설정에서 최첨단 대비 상당한 개선을 달성하며, CCC-Hard에서 44.12%의 개선을 포함한다.
• 중요도 인식 Fisher 정규화기가 리셋 이후 중요한 선행 작업 지식을 회복하는 데 도움이 된다.
• 도메인 차이에 기반한 온-더-플라이 적응 조정은 도전적인 도메인 시프트에서 안정성을 향상시킨다.
• ASR은 ViT 백본과 다중 데이터셋에서 비 i.i.d. 테스트 설정에 잘 일반화된다.