[논문 리뷰] Test-Time Training with Self-Supervision for Generalization under Distribution Shifts

Yu Sun, Xiaolong Wang외 4명|arXiv (Cornell University)|2019. 09. 29.

Intelligent Tutoring Systems and Adaptive Learning인용 수 199

한 줄 요약

이 논문은 Test-Time Training(TTT)을 소개합니다. TTT는 예측 전에 라벨이 없는 테스트 샘플에 대해 자체 감독 학습(task)으로 모델을 업데이트하여 배치 및 온라인 설정 모두에서 분포 시프트에 대한 견고성을 향상시킵니다.

ABSTRACT

In this paper, we propose Test-Time Training, a general approach for improving the performance of predictive models when training and test data come from different distributions. We turn a single unlabeled test sample into a self-supervised learning problem, on which we update the model parameters before making a prediction. This also extends naturally to data in an online stream. Our simple approach leads to improvements on diverse image classification benchmarks aimed at evaluating robustness to distribution shifts.

연구 동기 및 목표

• 학습 및 테스트 분포가 다를 때 강건한 일반화를 목표로 한다.
• 자가 감독 보조 작업을 활용한 일반적인 테스트 시 적응 프레임워크를 제안한다.
• 다양한 벤치마크에서 표준 및 온라인 테스트 시나리오를 조사한다.

제안 방법

• 공유 특성 추출기와 두 가지 가지(branches: 주 작업과 자가 감독 작업(회전 예측)을 가진 다중 작업 네트워크를 구성한다.
• 공유 추출기를 가지는 주 작업의 라벨이 있는 데이터와 자가 감독 작업의 라벨이 없는 데이터를 함께 학습한다.
• 테스트 시, 주 작업을 예측하기 전에 테스트 샘플에 대해 자가 감독 손실을 최소화하여 공유 특성 추출기만 업데이트한다.
• 학습 시 증가augmentation과 유사한 테스트 시 배치를 형성하기 위해 데이터 증가를 활용한다.
• 선택적으로 온라인 설정으로 확장하여 테스트 샘플 스트림을 따라 업데이트하고 샘플 간 상태를 유지한다.

실험 결과

연구 질문

• RQ1 자가 감독에 의해 이끄는 테스트 시 업데이트가 테스트 시 라벨이 없더라도 분포 시프트 하에서 성능을 향상시킬 수 있는가?
• RQ2 온라인 테스트 시 학습은 진화하는 테스트 분포 하에서 배치/테스트 시 적응과 어떻게 비교되는가?
• RQ3 주 작업과 자가 감독 손실 간의 기울기 정렬이 테스트 타임 업데이트의 효과에 어떤 역할을 하는가?

주요 결과

원본	가우스	샷	임펄스	디포커스	글래스	모션	줌	눈	서리	안개	밝기	대비	엘라스트	픽셀	제이피지
TTT-Online	8.2	25.8	22.6	30.6	14.6	34.4	18.3	17.1	20.0	18.0	16.9	11.2	15.6	21.6	18.1	21.2
UDA-SS	9.0	28.2	26.5	20.8	15.6	43.7	24.5	23.8	25.0	24.9	17.2	12.7	11.6	22.1	20.3	22.6

• TTT 및 그 온라인 버전(TTT-Online)은 다양한 오염 유형과 수준에서 일반 객체 인식 기준보다 일관되게 개선된다.
• TTT-Online은 종종 공동 학습 기준보다 큰 폭으로 오류를 감소시키고 원래 분포에서도 개선될 수 있다.
• CIFAR-10-C에서 TTT-Online은 대부분의 오염에서 회전 예측을 통한 비지도 도메인 적응을 능가하여 학습 분포의 망각이 이점이 될 수 있음을 시사한다.
• ImageNet-C에서 TTT-Online은 많은 오염 유형에서 상당한 개선을 제공하며 더 많은 테스트 샘플이 처리될수록 성능이 개선된다.
• TTT는 CIFAR-10.1에서 작은 이익을 보이며, 이는 알려지지 않은 분포 시프트를 드러내기 위한 데이터셋으로, unseen 시프트에 대한 테스트 시 적응의 첫 걸음으로 기록된다.
• 이론적 결과는 주 작업과 자가 감독 손실 간의 양의 그래디언트 상관관계가 테스트 시 업데이트 중 주 작업 성능 향상과 relatedness가 있음을 시사한다.