[논문 리뷰] AdaNPC: Exploring Non-Parametric Classifier for Test-Time Adaptation

Yifan Zhang, Xue Wang외 6명|arXiv (Cornell University)|2023. 04. 25.

Domain Adaptation and Few-Shot Learning인용 수 14

한 줄 요약

AdaNPC는 테스트 시 적응을 위한 비모수적 메모리 기반 분류기를 도입하여, 여러 표적 도메인에 걸친 강력한 DG 성능과 로딩 없이 연속적인 도메인에 대한 견고함을 제공합니다.

ABSTRACT

Many recent machine learning tasks focus to develop models that can generalize to unseen distributions. Domain generalization (DG) has become one of the key topics in various fields. Several literatures show that DG can be arbitrarily hard without exploiting target domain information. To address this issue, test-time adaptive (TTA) methods are proposed. Existing TTA methods require offline target data or extra sophisticated optimization procedures during the inference stage. In this work, we adopt Non-Parametric Classifier to perform the test-time Adaptation (AdaNPC). In particular, we construct a memory that contains the feature and label pairs from training domains. During inference, given a test instance, AdaNPC first recalls K closed samples from the memory to vote for the prediction, and then the test feature and predicted label are added to the memory. In this way, the sample distribution in the memory can be gradually changed from the training distribution towards the test distribution with very little extra computation cost. We theoretically justify the rationality behind the proposed method. Besides, we test our model on extensive numerical experiments. AdaNPC significantly outperforms competitive baselines on various DG benchmarks. In particular, when the adaptation target is a series of domains, the adaptation accuracy of AdaNPC is 50% higher than advanced TTA methods. The code is available at https://github.com/yfzhang114/AdaNPC.

연구 동기 및 목표

• 미지의 분포에 대한 도메인 일반화와 강건성에 대한 동기를 부여한다.
• 메모리 보강 비모수적 접근법을 테스트 시 적응(AdaNPC)으로 제안한다.
• 비모수 분류기가 어떻게 도메인 분리도와 대상 위험을 감소시키는지 이론적으로 정당화한다.
• 다양한 백본을 갖춘 다수의 DG 벤치마크에서 강력한 실증적 이득을 보여준다.

제안 방법

• 동일 레이블 특성을 함께 모으고 다른 레이블 특성을 퍼뜨리는 KNN 기반 손실(Eq. 4)을 사용하여 표현을 학습한다.
• 소스 특징과 라벨의 메모리 뱅크 M를 구성하고 테스트 시 근처 K개의 이웃과 투표하는 데 사용한다(Eq. 5).
• 확신도 높을 때 테스트 특징과 예측 라벨로 메모리를 업데이트하여 메모리 기반 테스트 시 적응을 수행한다.
• 적응 중 표현 품질을 높이기 위해 BN 계층을 재훈련하는 것을 선택적으로 수행한다.
• 효율성을 위해 FIFO 기반의 간단한 메모리 관리와 직관적인 KNN 탐색을 구현한다.

실험 결과

연구 질문

• RQ1 비모수적이고 메모리 기반의 분류기가 그래디언트 기반 업데이트 없이 도메인 일반화에 대한 테스트 시 적응을 개선할 수 있는가?
• RQ2 메모리에 온라인 타깃 샘플을 포함시키는 것이 대상 위험과 도메인 발산에 어떤 영향을 미치는가?
• RQ3 공변량 및 후방 분포 변화하에서 KNN 기반 적응에 대한 이론적 보장은 무엇이 있는가?
• RQ4 AdaNPC가 다양한 DG 벤치마크와 백본에서, 연속적 도메인 적응 시나리오를 포함하여 얼마나 성능을 내는가?

주요 결과

Method	RMNIST	PACS	VLCS	TerraIncognita	DomainNet	Avg
ERM	97.8 ± 0.1	77.6 ± 0.3	86.7 ± 0.3	41.3 ± 0.1	53.0 ± 0.3	71.3
IRM	97.5 ± 0.2	76.9 ± 0.6	84.5 ± 1.1	28.0 ± 5.1	50.5 ± 0.7	67.5
GDRO	97.9 ± 0.1	77.4 ± 0.5	87.1 ± 0.1	33.4 ± 0.3	52.4 ± 0.1	69.6
CORAL	98.0 ± 0.0	77.7 ± 0.2	87.1 ± 0.5	41.8 ± 0.1	52.8 ± 0.2	71.5
DANN	97.9 ± 0.1	79.7 ± 0.5	85.2 ± 0.2	38.3 ± 0.1	50.6 ± 0.4	70.3
MTL	97.9 ± 0.1	77.7 ± 0.5	86.7 ± 0.2	40.8 ± 0.1	52.2 ± 0.4	71.1
SagNet	97.9 ± 0.0	77.6 ± 0.1	86.4 ± 0.4	40.8 ± 0.2	52.5 ± 0.4	71.1
ARM	98.1 ± 0.1	77.8 ± 0.3	85.8 ± 0.2	36.0 ± 0.2	51.2 ± 0.5	69.8
VREx	97.9 ± 0.1	78.1 ± 0.2	87.2 ± 0.6	30.1 ± 3.7	51.4 ± 0.5	68.9
Fish	97.9 ± 0.1	77.8 ± 0.6	85.8 ± 0.6	43.4 ± 0.3	50.8 ± 0.4	71.1
Fishr	97.8 ± 0.1	78.2 ± 0.2	86.9 ± 0.2	41.8 ± 0.2	53.6 ± 0.4	71.7
AdaNPC	98.5 ± 0.1	79.5 ± 2.4	88.8 ± 0.1	42.9 ± 0.5	53.9 ± 0.3	72.7
AdaNPC +BN	98.4 ± 0.1	80.2 ± 0.2	88.9 ± 0.1	43.1 ± 0.8	54.0 ± 0.1	72.9

• AdaNPC는 다섯 가지 OOD 벤치마크에서 DG 성능이 경쟁력 있게 혹은 최첨단에 근접하다.
• AdaNPC 및 AdaNPC +BN이 많은 베이스라인을 능가하며 평균 정확도에서 상당한 이득을 보인다.
• BN 재훈련은 매개변수 업데이트를 최소화하면서도 추가 이득을 제공한다.
• AdaNPC는 파인튜닝 없이도 강한 성능을 보여주고, 소스 데이터셋이 커질수록 스케일이 잘된다.
• 연속적 적응에서 AdaNPC는 망각을 크게 완화하고 소스 도메인 정확도를 유지한다.