[논문 리뷰] Test-Time Adaptation via Self-Training with Nearest Neighbor Information

Minguk Jang, Sae-Young Chung외 1명|arXiv (Cornell University)|2022. 07. 08.

Image Enhancement Techniques인용 수 12

한 줄 요약

이 논문은 테스트 시간 적응(TTA) 성능을 향상시키기 위해 최근접 이웃 정보를 활용해 더 신뢰할 수 있는 가짜 레이블을 생성하는 TAST라는 방법을 제안한다. 이 방법은 테스트 데이터에서 근접 이웃 기반 가짜 레이블을 사용해 무작위로 초기화된 다수의 적응 모듈을 훈련하고, 그 예측을 평균화함으로써 도메인 일반화(VLCS, PACS, OfficeHome, TerraIncognita) 및 이미지 손상 벤치마크(CIFAR-10/100C)에서 최신 기술(SOTA) 성능을 달성한다. 이는 T3A 및 TENT과 같은 이전 방법들을 능가한다.

ABSTRACT

Test-time adaptation (TTA) aims to adapt a trained classifier using online unlabeled test data only, without any information related to the training procedure. Most existing TTA methods adapt the trained classifier using the classifier's prediction on the test data as pseudo-label. However, under test-time domain shift, accuracy of the pseudo labels cannot be guaranteed, and thus the TTA methods often encounter performance degradation at the adapted classifier. To overcome this limitation, we propose a novel test-time adaptation method, called Test-time Adaptation via Self-Training with nearest neighbor information (TAST), which is composed of the following procedures: (1) adds trainable adaptation modules on top of the trained feature extractor; (2) newly defines a pseudo-label distribution for the test data by using the nearest neighbor information; (3) trains these modules only a few times during test time to match the nearest neighbor-based pseudo label distribution and a prototype-based class distribution for the test data; and (4) predicts the label of test data using the average predicted class distribution from these modules. The pseudo-label generation is based on the basic intuition that a test data and its nearest neighbor in the embedding space are likely to share the same label under the domain shift. By utilizing multiple randomly initialized adaptation modules, TAST extracts useful information for the classification of the test data under the domain shift, using the nearest neighbor information. TAST showed better performance than the state-of-the-art TTA methods on two standard benchmark tasks, domain generalization, namely VLCS, PACS, OfficeHome, and TerraIncognita, and image corruption, particularly CIFAR-10/100C.

연구 동기 및 목표

• 도메인 이동 상황에서 정확도가 떨어지는 테스트 시간 적응(TTA)의 성능 저하 문제를 해결하기 위해.
• 가짜 레이블 생성에 모델 예측 결과만 의존하는 자기훈련 기반 TTA 방법에서 발생하는 확인 편향(confirmation bias) 문제를 해결하기 위해.
• 라벨이 없는 테스트 데이터가 존재하는 제로샷 도메인 적응 환경에서의 강건성과 정확도를 향상시키기 위해.
• 임베딩 공간 내 최근접 이웃 정보를 활용해 분류기 일반화 성능을 향상시키는 단순하면서도 효과적인 TTA 방법을 개발하기 위해.

제안 방법

• 사전 훈련된 특징 추출기 위에 테스트 시간에 무작위로 초기화된 학습 가능한 적응 모듈을 도입한다.
• 임베딩 공간 내 근접 이웃의 레이블 기반으로 테스트 샘플에 대한 새로운 가짜 레이블 분포를 정의한다.
• 가짜 레이블과 테스트 데이터로부터 유도된 클래스 프로토타입을 모두 고려해 출력 분포를 일치시키는 대비 목표함수를 사용해 적응 모듈을 훈련한다.
• 다양한 독립적으로 훈련된 적응 모듈의 앙상블 평균을 통해 최종 예측을 도출함으로써 분산을 줄이고 강건성을 향상시킨다.
• 적응 모듈의 출력에 프로토타입 기반 분류 헤드를 적용해 클래스별 프로토타입을 활용해 예측을 정밀화한다.
• 효율성 확보와 과적합 방지를 위해 추론 중에 몇 에포크 내로 훈련을 제한한다.

실험 결과

연구 질문

• RQ1 임베딩 공간 내 최근접 이웃 정보가 테스트 시간 적응에서 가짜 레이블의 신뢰성 향상에 기여하는가?
• RQ2 무작위로 초기화된 다수의 적응 모듈을 사용하면 자기훈련 기반 TTA에서 발생하는 확인 편향을 완화할 수 있는가?
• RQ3 도메인 이동 상황에서 근접 이웃 기반 가짜 레이블링과 예측 기반 가짜 레이블링 간의 강건성에 차이가 나는가?
• RQ4 근접 이웃 정보를 반영한 가짜 레이블 기반 프로토타입 분류기가 표준 자기훈련 또는 T3A보다 더 높은 성능을 낼 수 있는가?
• RQ5 적응 에포크 수가 TTA 방법의 최종 정확도와 안정성에 미치는 영향는 어떠한가?

주요 결과

• TAST는 도메인 일반화 벤치마크인 VLCS, PACS, OfficeHome, TerraIncognita에서 최신 기술(SOTA) 성능을 달성하며, T3A 및 기타 SOTA TTA 방법들을 능가한다.
• 고손상 설정에서 CIFAR-10/100C에서 TAST-BN(배치 정규화 적응을 추가한 변종)은 평균 오차율이 가장 낮아 TENT 및 TTT++를 능가한다.
• OfficeHome 벤치마크에서 TAST는 20개의 적응 에포크를 거쳐 평균 정확도 63.70%를 기록했으며, ERM 기반 베이스라인(62.10%)과 T3A(63.21%)를 모두 초월한다.
• TerraIncognita에서 TAST는 20개의 적응 에포크를 거쳐 평균 정확도 42.64%를 달성했으며, ERM 기반 베이스라인(40.62%)과 T3A(40.20%)를 크게 앞서 간다.
• 절단 분석 결과, 최근접 이웃 기반 가짜 레이블이 예측 기반 가짜 레이블보다 더 안정적이고 정확한 적응을 이끌어낸다.
• TAST-BN는 CIFAR-10/100C에서 최고의 성능을 기록했으며, 이는 최근접 이웃 기반 가짜 레이블링과 정규화 적응을 조합하는 것이 매우 효과적임을 시사한다.