[논문 리뷰] Test-Time Training with Self-Supervision for Generalization under Distribution Shifts

Yu Sun, Xiaolong Wang외 4명|arXiv (Cornell University)|2019. 09. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 92인용 수 70

한 줄 요약

이 논문은 분포 변화에 대한 강인성을 높이기 위해 테스트 시점에 자체 감독 보조 작업을 이용해 모델 매개변수를 업데이트하는 Test-Time Training(TTT) 및 온라인 변형을 제시한다.

ABSTRACT

In this paper, we propose Test-Time Training, a general approach for improving the performance of predictive models when training and test data come from different distributions. We turn a single unlabeled test sample into a self-supervised learning problem, on which we update the model parameters before making a prediction. This also extends naturally to data in an online stream. Our simple approach leads to improvements on diverse image classification benchmarks aimed at evaluating robustness to distribution shifts.

연구 동기 및 목표

• 시프트를 미리 예측하지 않고도 분포 변화에 대한 일반화를 동기 부여한다.
• 단일 비라벨링 테스트 샘플을 사용한 테스트 시간 자기지도 업데이트로 모델을 업데이트한다.
• 다양한 왜곡 유형과 비디오 프레임에서 이미지 분류 벤치마크의 강건성을 향상시키는 것을 시연한다.
• 작업 간 기울기 상관관계가 Test-Time Training에 언제 도움이 되는지 이론적으로 제시한다.

제안 방법

• 공유 피처 추출기와 주 태스크 분기 및 자기지도 태스크 분기가 있는 Y자형 아키텍처를 사용한다.
• 학습 분포의 데이터에서 라벨이 있는 주 태스크와 자기지도 보조 태스크(회전 예측)로 공동 학습한다.
• 테스트 시점에는 테스트 샘플에 대한 자기지도 손실을 최소화하여 공유 피처 추출기만 업데이트한다(한 번의 SGD 단계 또는 배치 단위의 다중 단계).
• 테스트 샘플을 배치 또는 온라인 스트림으로 처리하고 시간에 따라 상태를 업데이트하여 분포 변화에 적응한다.
• 테스트 시 업데이트를 수행할 때 학습 시 사용된 동일한 데이터 증강 세트를 적용한다.
• 연속적인 테스트 샘플 간에 학습된 상태를 이월하는 온라인 변형(TTT-Online)을 제공하여 점진적으로 바뀌는 분포를 처리한다.
• 이론적 분석(볼록 경우)은 손실 간의 양의 기울기 상관관계가 주 태스크의 개선으로 이어진다고 보이며, 실증 결과는 딥 네트워크로 확장된다.

실험 결과

연구 질문

• RQ1 분포 변화하에서 자기지도 보조 태스크를 가진 테스트 시간 학습이 주 태스크 정확도를 향상시키는가?
• RQ2 온라인 테스트 시간 학습은 배치/테스트 타임 기준선 및 비지도 도메인 적응 방법과 어떻게 비교되는가?
• RQ3 어떤 조건에서(예: 기울기 상관관계) 테스트 시간 학습이 이론적으로 도움이 된다고 보장할 수 있는가?
• RQ4 이 방법은 왜곡 벤치마크(CIFAR-10-C, ImageNet-C)와 비디오 데이터셋(VID-Robust)에서 어떤 성능을 보이는가?
• RQ5 CIFAR-10.1과 같은 알려지지 않은 분포 변화도 처리할 수 있는가?

주요 결과

원본	가우스	샷	임펄스	초점 흐림	유리 흐림	모션 흐림	줌	눈	서리	안개	밝기	콘트라스트	탄성 변형	픽셀화	JPEG
TTT-Online	8.2	25.8	22.6	30.6	14.6	34.4	18.3	17.1	20.0	18.0	16.9	11.2	15.6	21.6	18.1	21.2
UDA-SS	9.0	28.2	26.5	20.8	15.6	43.7	24.5	23.8	25.0	24.9	17.2	12.7	11.6	22.1	20.3	22.6

• TTT 및 TT-Online은 다양한 형태와 수준의 왜곡에서 객체 인식 기본 모델보다 지속적으로 성능을 향상시키며, 종종 큰 차이로 개선한다.
• TTT-Online은 공동 학습에 비해 상당한 개선을 보이며 대부분의 왜곡에서 비지도 도메인 적응(UDA-SS)을 능가하기도 한다.
• CIFAR-10-C level-5에서 TTT-Online은 원래의 왜곡 세트에서 UDA-SS 9.0%에 대비하여 8.2% 오차를 달성하고, 여러 왜곡에서 더 나은 성능을 보인다.
• ImageNet-C level-5에서 TTT-Online은 여러 왜곡 유형에서 정확도를 향상시키며, 슬라이딩 윈도우로 더 많은 샘플을 평가할수록 더 큰 이득을 보인다.
• TTT는 CIFAR-10.1 및 VID-Robust 테스트 세트에서 개선을 보이며, 알려지지 않거나 보이지 않는 분포 변화도 처리할 수 있음을 보인다.
• 주 태스크와 자기지도 손실 간의 양의 기울기 상관관계가 테스트 시간 업데이트 하에서 주 태스크 성능의 향상과 상관관계가 있음을 보인다.