[논문 리뷰] SoTTA: Robust Test-Time Adaptation on Noisy Data Streams

Taesik Gong, Yewon Kim외 3명|arXiv (Cornell University)|2023. 10. 16.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

SoTTA는 높은 신뢰도의 균일한 클래스 샘플링을 통한 입력 필터링과 엔트로피-예리도 최소화를 통한 파rameter 안정화를 조합하여 노이즈가 있는 데이터 스트림에 대한 강건성을 향상시키는 새로운 테스트 시간 적응 방법이다. 노이즈가 있는 테스트 조건에서 최고 성능을 기록하며, CIFAR10-C (노이즈)에서 정확도를 22.3个百分点 향상시켰고, 클리어 설정에서는 SOTA 성능을 유지한다.

ABSTRACT

Test-time adaptation (TTA) aims to address distributional shifts between training and testing data using only unlabeled test data streams for continual model adaptation. However, most TTA methods assume benign test streams, while test samples could be unexpectedly diverse in the wild. For instance, an unseen object or noise could appear in autonomous driving. This leads to a new threat to existing TTA algorithms; we found that prior TTA algorithms suffer from those noisy test samples as they blindly adapt to incoming samples. To address this problem, we present Screening-out Test-Time Adaptation (SoTTA), a novel TTA algorithm that is robust to noisy samples. The key enabler of SoTTA is two-fold: (i) input-wise robustness via high-confidence uniform-class sampling that effectively filters out the impact of noisy samples and (ii) parameter-wise robustness via entropy-sharpness minimization that improves the robustness of model parameters against large gradients from noisy samples. Our evaluation with standard TTA benchmarks with various noisy scenarios shows that our method outperforms state-of-the-art TTA methods under the presence of noisy samples and achieves comparable accuracy to those methods without noisy samples. The source code is available at https://github.com/taeckyung/SoTTA .

연구 동기 및 목표

• 실세계의 데이터 스트림에서 노이즈가 있거나 분포가 벗어난 샘플에 직면했을 때 기존의 테스트 시간 적응(TTA) 방법들이 보여주는 강건성 부족 문제를 해결하기 위해.
• 다양하고 예측할 수 없는 테스트 시간 오염 상황에서도 높은 정확도를 유지할 수 있는 TTA 프레임워크를 개발하기 위해.
• 학습 데이터에 접근할 수 없음에도 불구하고, 실세계 배포 환경에서의 개인정보 보호 및 자원 제약과 부합하는 강건한 모델 적응을 가능하게 하기 위해.
• 노이즈가 있는 테스트 시간 환경에 특화된 입력 수준의 필터링과 파rameter 수준의 안정화를 위한 이중 강건성 메커니즘을 도입하기 위해.

제안 방법

• 높은 신뢰도 균일 클래스 샘플링(HUS)은 모델 업데이트에만 높은 신뢰도와 균일한 클래스 분포를 가지는 샘플만 선택함으로써 노이즈가 있는 테스트 샘플을 필터링한다.
• 엔트로피-예리도 최소화(ESM)는 손실 표면의 평탄함을 높여 노이즈 샘플에서 기인하는 큰 기울기로 인한 모델 이탈을 줄인다.
• HUS는 오직 신뢰할 수 있고 양호한 샘플들만 파rameter 업데이트에 기여함으로써 이방성의 영향을 감소시킨다.
• ESM은 손실 표면의 예리도를 최소화함으로써 모델 파rameter를 정규화하고, 노이즈 입력으로 인한 기울기 변동에 대한 저항력을 향상시킨다.
• 이 방법은 온라인으로 작동하며 학습 데이터에 접근하지 않아도 되므로 일반적인 TTA 제약 조건을 충족시킨다.
• SoTTA는 네 가지 노이즈 상황(근접, 원거리, 공격, 노이즈)에서 CIFAR10-C, CIFAR100-C, ImageNet-C에서 평가되었다.

실험 결과

연구 질문

• RQ1 실세계의 데이터 스트림에서 노이즈가 있거나 분포가 벗어난 테스트 샘플에 노출되었을 때 기존의 TTA 방법들은 어떻게 성능을 내는가?
• RQ2 학습 데이터나 배치 수준의 액세스 없이도 테스트 시간 적응 방법이 노이즈 입력에 강건하게 만들 수 있는가?
• RQ3 온라인 적응 과정에서 노이즈 샘플을 효과적으로 필터링하고 모델 파rameter를 안정화할 수 있는 메커니즘은 무엇인가?
• RQ4 입력 수준의 강건성과 파rameter 수준의 강건성이 결합될 경우, 분포 이탈 상황에서 TTA 성능 향상에 얼마나 기여하는가?

주요 결과

• SoTTA는 가장 강한 노이즈 이탈 상황(노이즈)에서 CIFAR10-C에서 80.0%의 정확도를 기록했으며, 기준 TTA 방법보다 22.3个百分点 향상되었다.
• 노이즈 상황에서 SoTTA는 최고의 베이스라인(RoTTA)보다 6.4个百分点 높은 81.5%의 정확도를 기록하며 승리했다.
• 클리어 설정에서는 SoTTA가 CIFAR10-C에서 노이즈 없이 82.1%의 정확도를 기록하여, 최고의 베이스라인 성능과 동일했으며, SOTA TTA 방법과 유사한 성능를 유지했다.
• 근접, 원거리, 공격, 노이즈의 네 가지 노이즈 상황 전반에서 일관된 향상이 관찰되어 다양한 분포 이탈 상황에서의 강건성을 입증했다.
• 제거 실험을 통해 HUS와 ESM이 모두 강건성 향상에 기여하는 것으로 확인되었으며, HUS는 노이즈 샘플의 영향을 줄이고, ESM은 파rameter 업데이트의 안정성을 높였다.
• TTA에 OOD 탐지(예: ODIN)를 적용하는 것은 임계값 하이퍼파ram터에 매우 민감하고 성능 향상이 미미하여 실용성이 떨어지며, SoTTA의 통합적 접근의 필요성을 입증했다.