[논문 리뷰] A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts

Jian Liang, Ran He외 1명|arXiv (Cornell University)|2023. 03. 27.

Domain Adaptation and Few-Shot Learning인용 수 10

한 줄 요약

이 연구 고찰은 분포 이동하에서의 테스트-타임 적응(TTA)에 대한 체계적 분류를 제공하며, SFDA, TTBA, OTTA, TTPA를 다루고, 분류체계, 방법, 응용 및 남은 과제를 다룹니다.

ABSTRACT

Machine learning methods strive to acquire a robust model during the training process that can effectively generalize to test samples, even in the presence of distribution shifts. However, these methods often suffer from performance degradation due to unknown test distributions. Test-time adaptation (TTA), an emerging paradigm, has the potential to adapt a pre-trained model to unlabeled data during testing, before making predictions. Recent progress in this paradigm has highlighted the significant benefits of using unlabeled data to train self-adapted models prior to inference. In this survey, we categorize TTA into several distinct groups based on the form of test data, namely, test-time domain adaptation, test-time batch adaptation, and online test-time adaptation. For each category, we provide a comprehensive taxonomy of advanced algorithms and discuss various learning scenarios. Furthermore, we analyze relevant applications of TTA and discuss open challenges and promising areas for future research. For a comprehensive list of TTA methods, kindly refer to \url{https://github.com/tim-learn/awesome-test-time-adaptation}.

연구 동기 및 목표

• 테스트-타임 적응(TTA)을 사전 학습된 모델을 추론 전에 비라벨 테스트 데이터에 적응시키는 것으로 정의한다.
• TTA를 네 가지 주제로 분류하고: SFDA, TTBA, OTTA, TTPA로 구분하며 분포-이동 회복성 하에 통합한다.
• 각 카테고리에 대한 고급 TTA 알고리즘의 분류체계를 제시하고 학습 시나리오를 논의한다.
• TTA의 응용을 분석하고 남아 있는 도전과제와 향후 연구 방향을 개괄한다.

제안 방법

• SFDA 방법의 분류체계를 프라이밍-레이블링, 일관성 학습, 앙상블 전략을 포함하여 제시한다.
• SFDA에서 사용되는 데이터- 및 모델 변형 기반의 일관성 규제들을 논의한다.
• SFDA, TTBA, OTTA, TTPA에 대한 문제 정의를 개요하고 이를 관련 전이 학습 주제와 연관시킨다.
• 관련 학습 패러다임(SSL, 준지도학습, 자기지도학습, 메타학습, 연속학습)과 TTA와의 관련성을 검토한다.
• 응용을 요약하고 emergent 트렌드 및 남아 있는 문제들에 대한 전망을 제공한다.

실험 결과

연구 질문

• RQ1 테스트-타임 적응 내의 서로 다른 하위 문제는 무엇이며 이를 체계적으로 어떻게 분류할 수 있는가?
• RQ2 SFDA, TTBA, OTTA, TTPA에 사용되는 주요 알고리즘 패밀리와 그 핵심 원리는 무엇인가?
• RQ3 자기지도학습, 준지도학습, 일관성 기반 기법은 분포 이동하에서 TTA 성능에 어떻게 기여하는가?
• RQ4 향후 TTA 연구의 주요 도전과제와 유망한 방향은 무엇인가?
• RQ5 실제 작업에서 TTA 방법의 실용적 응용과 한계는 무엇인가?

주요 결과

• SFDA 방법은 일반적으로 다양한 디노이징, 가중치 부여, 강건 손실 전략을 활용한 프라이머 레이블링을 사용한다.
• 일관성 학습 및 데이터/모델 증강은 소스 데이터를 사용하지 않고도 대상 분포를 맞추는 데 핵심적이다.
• 통합 분류체계는 SFDA, TTBA, OTTA, TTPA를 분포 이동하에 있는 테스트-타임 적응의 특수한 사례로 연결한다.
• 본 조사는 SFDA에서 사용되는 중심점 기반, 이웃 기반, 최적화 기반, 데이터 변이, 앙상블 기반의 다양한 알고리즘 전략을 매핑한다.
• 논문은 프라이버시를 보호하는 적응 및 지속/온라인 설정 등 향후 방향과 남은 문제점을 강조한다.
• TTA 방법을 나열한 커뮤니티 리소스를 GitHub 링크를 통해 제공한다.