[논문 리뷰] Continual Test-Time Domain Adaptation

Qin Wang, Olga Fink외 2명|arXiv (Cornell University)|2022. 03. 25.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 비정상적인 환경에서 오차 누적과 치명적인 잊힘을 완화하기 위해 가중치 평균화 및 증강 평균화된 가짜 레이블을 사용하여 예측 정확도를 향상시키고, 일부 네트워크 가중치를 소스 사전학습된 값으로 확률적으로 복원하여 이전 지식을 유지하는 지속적 테스트 시간 도메인 적응 방법 CoTTA를 제안한다. CoTTA는 네 가지 분류 및 하나의 세그멘테이션 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, ImageNet-C에서 TENT보다 29.1% 오차율 감소(63.0% 대 66.5%)와 Cityscapes-to-ACDC에서 1.9% mIoU 향상을 기록한다.

ABSTRACT

Test-time domain adaptation aims to adapt a source pre-trained model to a target domain without using any source data. Existing works mainly consider the case where the target domain is static. However, real-world machine perception systems are running in non-stationary and continually changing environments where the target domain distribution can change over time. Existing methods, which are mostly based on self-training and entropy regularization, can suffer from these non-stationary environments. Due to the distribution shift over time in the target domain, pseudo-labels become unreliable. The noisy pseudo-labels can further lead to error accumulation and catastrophic forgetting. To tackle these issues, we propose a continual test-time adaptation approach~(CoTTA) which comprises two parts. Firstly, we propose to reduce the error accumulation by using weight-averaged and augmentation-averaged predictions which are often more accurate. On the other hand, to avoid catastrophic forgetting, we propose to stochastically restore a small part of the neurons to the source pre-trained weights during each iteration to help preserve source knowledge in the long-term. The proposed method enables the long-term adaptation for all parameters in the network. CoTTA is easy to implement and can be readily incorporated in off-the-shelf pre-trained models. We demonstrate the effectiveness of our approach on four classification tasks and a segmentation task for continual test-time adaptation, on which we outperform existing methods. Our code is available at \url{https://qin.ee/cotta}.

연구 동기 및 목표

• 도메인 분포가 시간이 지남에 따라 지속적으로 변화하는 비정상적 환경에서 기존 테스트 시간 도메인 적응 방법의 불안정성을 해결하기 위해.
• 스트리밍 테스트 데이터의 분포 이탈로 인해 발생하는 노이즈가 많고 校정이 잘못된 가짜 레이블로 인한 오차 누적을 줄이기 위해.
• 소스 데이터에 접근할 수 없는 상황에서도 장기적인 온라인 적응 과정에서 소스 지식의 치명적인 잊힘을 방지하기 위해.
• 소스 데이터 없이도 모든 네트워크 가중치(특히 배치 정규화 통계 외의 파rameter들)를 지속적으로 적응시킬 수 있도록 하기 위해.
• 재학습 없이도 시장에 유통되는 사전학습된 모델과 호환되는 즉시 사용 가능한 방법을 개발하기 위해.

제안 방법

• 오차 누적을 줄이기 위해 앙상블 유사한 예측 안정성을 확보하기 위해 모멘타리티 평균화된 교사 네트워크를 사용하여 더 정확한 가짜 레이블을 생성한다.
• 특히 도메인 갭이 큰 샘플에 대해 증강 평균 예측을 적용하여 어려운 테스트 조건에서도 가짜 레이블 품질을 향상시킨다.
• 소수의 네트워크 뉴런을 주기적으로 소스 사전학습된 가중치로 복원하는 확률적 가중치 복원 기법을 도입하여 소스 지식을 유지한다.
• 두 전략을 하나의 온라인 학습 프레임워크에 통합하여, 오직 비라벨 타겟 데이터만을 사용해 실시간으로 모델 가중치를 업데이트한다.
• 아키텍처 수정 없이도 가중치 평균화와 증강 평균화를 통합한 단순하면서도 효과적인 학습 루프를 구현한다.
• 특정 레이어(예: 배치 정규화)에 의존하지 않아, 트랜스포머나 LayerNorm을 사용하는 모델을 포함한 다양한 아키텍처에 적용 가능하다.

실험 결과

연구 질문

• RQ1 테스트 시간 도메인 적응에서 자기학습 방법이 지속적이고 비정상적인 도메인 이동 상황에서도 안정성을 유지할 수 있는가?
• RQ2 시간이 지남에 따라 도메인 갭과 분포 이탈이 증가하는 상황에서 가짜 레이블의 품질을 어떻게 향상시킬 수 있는가?
• RQ3 장기적인 온라인 적응 과정에서 소스 지식의 치명적인 잊힘을 효과적으로 방지할 수 있는 메커니즘은 무엇인가?
• RQ4 소스 데이터에 접근할 수 없는 조건에서 모든 네트워크 파라미터를 적응시킬 수 있는 즉시 사용 가능한 방법을 설계할 수 있는가?
• RQ5 제안된 방법은 분류와 복잡한 아키텍처를 포함한 다양한 벤치마크에서 어떻게 성능을 내는가?

주요 결과

• ImageNet-to-ImageNet-C에서 심각도 수준 5 조건에서 CoTTA는 평균 오차율 63.0% ± 1.8을 기록하여 TENT(66.5%)보다 3.5%p 우수하다.
• ImageNet-C의 점진적 손상 설정에서 CoTTA는 오차율을 10.4%로 낮추었고, TENT의 30.7% 대비 뚜렷한 안정성을 보였다. 이는 서서히 변화하는 분포 이탈에 대한 강건성을 입증한다.
• CIFAR100-to-CIFAR100C에서 CoTTA는 BN stats adapt 대비 2.9% 향상되었으며, 시간이 지남에 따라 성능 향상이 유지되어 효과적인 장기 학습을 보였다.
• 세그멘테이션 작업인 Cityscapes-to-ACDC에서 CoTTA는 58.6% mIoU를 기록하여 기준선 대비 1.9%p 향상되었고, TENT과 BN stats adapt를 모두 앞섰다.
• Segformer와 같은 LayerNorm을 사용하는 다양한 아키텍처에서도 성능이 우수하여, 배치 정규화 레이어가 있는 모델에 국한되지 않음을 입증했다.
• 성능 향상은 시간이 지남에 따라 증가하여, CoTTA가 과거의 비라벨 데이터를 효과적으로 활용해 현재 예측을 향상시킨다는 점을 시사한다.