[논문 리뷰] Test time Adaptation through Perturbation Robustness

Prabhu Teja Sivaprasad, François Fleuret|arXiv (Cornell University)|2021. 10. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 47인용 수 12

한 줄 요약

이 논문은 테스트 입력의 변형에 걸쳐 예측 일致성을 강제하여 분포 이탈에 대한 모델의 강건성을 향상시키는 테스트 시 적응 방법을 제안한다. 데이터 증강을 활용해 추론 중 일致성 정규화를 적용함으로써, 훈련 시 타겟 도메인 데이터가 필요 없이 CIFAR-10-C, CIFAR-100-C 및 VisDA-C 벤치마크에서 최신 기술 수준 또는 경쟁력 있는 성능을 달성한다.

ABSTRACT

Data samples generated by several real world processes are dynamic in nature extit{i.e.}, their characteristics vary with time. Thus it is not possible to train and tackle all possible distributional shifts between training and inference, using the host of transfer learning methods in literature. In this paper, we tackle this problem of adapting to domain shift at inference time extit{i.e.}, we do not change the training process, but quickly adapt the model at test-time to handle any domain shift. For this, we propose to enforce consistency of predictions of data sampled in the vicinity of test sample on the image manifold. On a host of test scenarios like dealing with corruptions (CIFAR-10-C and CIFAR-100-C), and domain adaptation (VisDA-C), our method is at par or significantly outperforms previous methods.

연구 동기 및 목표

• 훈련 및 추론 분포가 다른 실세계 동적 데이터에서의 도메인 이탈 문제를 해결한다.
• 훈련 시 레이블이 없는 타겟 데이터가 필요 없는 경량 테스트 시 적응 방법을 개발한다.
• 사전 훈련된 모델을 수정하지 않고도 오염 및 도메인 이탈에 대한 강건성을 향상시킨다.
• 테스트 샘플과 그 변형만을 사용해 추론 시에 빠른 적응을 가능하게 한다.
• 이미지 오염 및 도메인 이탈 벤치마크를 포함한 다양한 테스트 시 시나리오에서 뛰어난 성능을 달성한다.

제안 방법

• 입력 테스트 샘플에 데이터 증강(예: RandAugment, AugMix)을 적용하여 변형된 시각을 생성한다.
• 증강된 시각들 간의 예측 일치성을 일치 손실(예: 예측 간 교차 엔트로피 또는 MSE)을 통해 강제한다.
• 추론 중에 일치 손실에 대해 확률적 경사 하강법(SGD)을 사용해 모델의 헤드 파라미터를 최적화한다.
• 두 항으로 구성된 손실 함수를 사용: 하나는 증강 간 일치성에 대한 손실이고, 다른 하나는 원본 테스트 샘플에 대한 예측 손실을 최소화하는 데 중점을 둔다.
• 효율성을 유지하면서도 효과적인 적응을 가능하게 하기 위해 SGD 스텝 수를 제한한다.
• 백본 가중치는 업데이트하지 않고 헤드 전용으로 집중함으로써 빠르고 가벼운 적응을 구현한다.

실험 결과

연구 질문

• RQ1 테스트 샘플의 변형에 걸쳐 예측 일치성을 강제하면 도메인 이탈에 대한 강건성이 향상되는가?
• RQ2 증강 전략의 선택(예: RandAugment 대비 AugMix)이 테스트 시 적응 성능에 어떤 영향을 미치는가?
• RQ3 학습률, 배치 크기, SGD 스텝 수 등의 하이퍼파ram터 중 어느 것이 적응 성능에 가장 큰 영향을 미치는가?
• RQ4 추론 중 일치성 정규화가 Tent과 같은 기존 테스트 시 적응 방법보다 우수한가?
• RQ5 증강 강도의 다양성에 대해 메서드가 강건한가? 낮은 강도가 더 좋은 결과를 낼 수 있는가?

주요 결과

• 제안된 방법은 VisDA-C에서 67.1%의 정확도를 달성하여 기준 모델(44.08%)을 뛰어넘고, CIFAR-10-C 및 CIFAR-100-C의 모든 오염 유형에서 Tent과 동등하거나 이를 초월한다.
• 기준 모델의 정확도가 낮을수록 성능 향상이 뚜렷하게 나타나, 초기 조건이 열악한 상황에서도 강력한 적응 능력을 보인다.
• 학습률 변화에 대해 강건하며, 최적의 성능는 약 10^-4에서 나타나며, 넓은 범위의 학습률에서 안정적인 성능을 유지한다.
• 낮은 증강 강도(적은 수의 증강)일수록 성능이 향상되며, 원본 이미지 다양체에 가까운 변형이 더 효과적임을 시사한다.
• 정규화 레이어 업데이트를 위해 최소 배치 크기 16가 필요함을 확인하여, 자원 제약이 있는 환경에서의 구현에 실용적 제약이 있음을 나타낸다.
• 일치 손실과 예측 손실을 병합하면 최고의 성능를 달성하며, 일치 손실 전용 버전조차 VisDA-C에서 Tent를 초월한다.