[논문 리뷰] Robust Mean Teacher for Continual and Gradual Test-Time Adaptation

Mario Döbler, Robert A. Marsden외 1명|arXiv (Cornell University)|2022. 11. 23.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 지속적이고 점진적인 도메인 이동 적응을 향상시키기 위해 대칭 교차 엔트로피 손실과 대비 학습을 사용하는 새로운 테스트 시간 적응 방법인 Robust Mean Teacher(RMT)을 제안한다. RMT는 CIFAR10C, CIFAR100C, ImageNet-C, ImageNet-R 및 새로운 지속적 DomainNet-126 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 소스 미사용 및 소스 접근 가능 설정 모두에서 상당한 오차 감소를 보였다.

ABSTRACT

Since experiencing domain shifts during test-time is inevitable in practice, test-time adaption (TTA) continues to adapt the model after deployment. Recently, the area of continual and gradual test-time adaptation (TTA) emerged. In contrast to standard TTA, continual TTA considers not only a single domain shift, but a sequence of shifts. Gradual TTA further exploits the property that some shifts evolve gradually over time. Since in both settings long test sequences are present, error accumulation needs to be addressed for methods relying on self-training. In this work, we propose and show that in the setting of TTA, the symmetric cross-entropy is better suited as a consistency loss for mean teachers compared to the commonly used cross-entropy. This is justified by our analysis with respect to the (symmetric) cross-entropy's gradient properties. To pull the test feature space closer to the source domain, where the pre-trained model is well posed, contrastive learning is leveraged. Since applications differ in their requirements, we address several settings, including having source data available and the more challenging source-free setting. We demonstrate the effectiveness of our proposed method 'robust mean teacher' (RMT) on the continual and gradual corruption benchmarks CIFAR10C, CIFAR100C, and Imagenet-C. We further consider ImageNet-R and propose a new continual DomainNet-126 benchmark. State-of-the-art results are achieved on all benchmarks.

연구 동기 및 목표

• 긴 테스트 시퀀스 동안 지속적이고 점진적인 테스트 시간 적응(TTA)에서 오차 누적 문제를 해결하기 위해.
• 특히 점진적이거나 증가하는 도메인 난이도를 가진 환경에서 순차적 도메인 이동에 적응할 때 모델의 강건성을 향상시키기 위해.
• 소스 접근 가능 및 소스 미사용 TTA 설정 모두에서 효과적인 프레임워크를 개발하기 위해.
• TTA를 위한 평균 교사 기반 자기학습에서 표준 교차 엔트로피보다 대칭 교차 엔트로피가 우수한 성능을 보이는지를 입증하기 위해.

제안 방법

• 표준 교차 엔트로피보다 우수한 기울기 성질을 지닌 대칭 교차 엔트로피(SCE)를 일致성 손실로 사용하는 평균 교사 프레임워크를 제안하며, 이는 동기화된 학습을 향상시킨다.
• 테스트 시간 특징을 소스 도메인 공간에 맞추기 위해 다중 시야 대비 손실을 도입하여 특징의 불변성을 향상시킨다.
• 순차적 적응 중 오차 누적을 줄이고 학습을 안정화하기 위해 모멘터니 업데이트된 교사 네트워크를 활용한다.
• 초기 적응 안정성을 향상시키기 위해 선형 학습률 스케일링을 적용한 소스 데이터 기반 웜업 단계를 도입한다.
• 소스 미사용 및 소스 접근 가능 설정을 모두 지원하며, 성능 향상을 위해 소스 재생 기법을 사용한다.
• 배치 정규화 통계의 안정성 향상과 기울기 노이즈 감소를 위해 단일 샘플 TTA에 슬라이딩 윈도우 메커니즘을 적용한다.

실험 결과

연구 질문

• RQ1 평균 교사 기반 테스트 시간 적응에서 대칭 교차 엔트로피가 표준 교차 엔트로피보다 일치성 손실로 더 우수한가?
• RQ2 기존 최신 기술 수준(SOTA) 기법들과 비교해 본다면, 제안된 방법은 지속적이고 점진적인 도메인 이동 상황에서 어떻게 성능을 발휘하는가?
• RQ3 긴 비정상적인 테스트 시퀀스 동안 대비 학습이 테스트 특징을 소스 도메인 공간으로 효과적으로 끌어올 수 있는가?
• RQ4 소스 미사용 TTA 설정에서 소량의 소스 데이터 접근이 성능에 어떤 영향을 미치는가?
• RQ5 낮은 수준에서 높은 수준의 손상 강도로 증가하는 도메인 난이도에 대해 이 방법이 강건한가?

주요 결과

• ImageNet-C에서 어려움이 증가하는 지속적 설정(쉬운 것에서 어려운 것으로)에서 RMT는 경쟁 기법 대비 12% 낮은 오차율을 기록하며 뛰어난 성능을 보였다.
• 새로운 지속적 DomainNet-126 벤치마크에서 RMT는 새로운 SOTA를 수립했으며, 소스 접근 가능 및 소스 미사용 설정 모두에서 이전 방법들을 능가했다.
• 윈도우 크기가 16일 때, RMT는 단일 샘플 TTA에서 평균 오차율 40.9%를 기록했으며, 배치 설정에서 최신 기술 수준(SOTA) 기법들을 능가했다.
• 평균 교사 프레임워크에서 대칭 교차 엔트로피 손실을 사용할 경우 표준 교차 엔트로피 대비 오차가 18.3% 이상 감소했다.
• 소스 데이터의 1%만을 사용해 재생 기법을 적용해도 성능 향상이 뚜렷했으며, 특히 다수의 업데이트 단계를 사용할 경우 더욱 두드러졌다.
• 절단 분석 결과, 모든 구성 요소—SCE 손실, 대비 학습, 웜업, 소스 재생—이 최종 성능 향상에 기여하는 것으로 확인되었다.