[논문 리뷰] Learning to Generalize across Domains on Single Test Samples

Zehao Xiao, Xiantong Zhen외 2명|arXiv (Cornell University)|2022. 02. 16.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 미리 훈련된 도메인 데이터가 없는 환경에서 테스트 단일 샘플만으로도 파인튜닝 없이 또는 추가 훈련 없이도 딥 모델이 미지의 타겟 도메인에 적응할 수 있도록 하는 메타학습 프레임워크를 제안한다. 개별 테스트 샘플에 조건부로 설정된 변동형 베이지안 추론으로서의 적응을 정식화함으로써, 각 테스트 샘플에 대해 단일 순방향 전파만으로도 도메인 일반화 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

We strive to learn a model from a set of source domains that generalizes well to unseen target domains. The main challenge in such a domain generalization scenario is the unavailability of any target domain data during training, resulting in the learned model not being explicitly adapted to the unseen target domains. We propose learning to generalize across domains on single test samples. We leverage a meta-learning paradigm to learn our model to acquire the ability of adaptation with single samples at training time so as to further adapt itself to each single test sample at test time. We formulate the adaptation to the single test sample as a variational Bayesian inference problem, which incorporates the test sample as a conditional into the generation of model parameters. The adaptation to each test sample requires only one feed-forward computation at test time without any fine-tuning or self-supervised training on additional data from the unseen domains. Extensive ablation studies demonstrate that our model learns the ability to adapt models to each single sample by mimicking domain shifts during training. Further, our model achieves at least comparable -- and often better -- performance than state-of-the-art methods on multiple benchmarks for domain generalization.

연구 동기 및 목표

• 훈련 시 타겟 도메인 데이터가 가용하지 않은 상황에서 도메인 일반화 문제를 해결하는 것.
• 추론 시 각각의 타겟 도메인에 대해 단일 테스트 샘플만으로도 모델이 효과적으로 적응할 수 있도록 하는 것.
• 테스트 시 파인튜닝이나 보조 네트워크가 필요 없도록 하여 도메인 일반화의 엄격한 소스-타겟 데이터 분리 원칙을 유지하는 것.
• 저자료 및 다중도메인 타겟 환경에서의 강건성과 일반화 성능 향상

제안 방법

• 메타학습을 활용하여 추론 시 단일 테스트 샘플에 적응할 수 있도록 모델을 훈련함으로써, 훈련 중에 도메인 이동을 모방한다.
• 적응을 변동형 베이지안 추론 문제로 정식화하며, 테스트 샘플이 모델 파라미터 생성에 조건이 되도록 한다.
• 테스트 시점에 파인튜닝이나 추가 네트워크 파라미터 없이 단일 피드포워드 전파만으로 도메인 적응 예측을 생성한다.
• 메타-학습자는 소스 도메인에서 훈련하여, 어떤 단일 타겟 샘플에도 빠르게 적응할 수 있는 모델 가중치에 대한 사전 분포를 학습한다.
• 소스 특징과 단일 타겟 샘플의 특징을 조합하여 새로운 분류기 프로토타입을 생성함으로써, 타겟 분포와의 정렬도 향상시킨다.
• 훈련 시 타겟 데이터에 접근할 필요 없이, 추론 시에도 타겟 데이터에 대한 추가 훈련이 필요 없다.

실험 결과

연구 질문

• RQ1 훈련 시 타겟 데이터에 접근할 수 없는 상황에서, 단일 테스트 샘플만으로도 모델이 미지의 타겟 도메인에 적응할 수 있는가?
• RQ2 메타학습은 도메인 일반화를 위한 빠른 단일 샘플 적응을 어떻게 효과적으로 가능하게 하는가?
• RQ3 변동형 베이지안 추론은 개인별 테스트 샘플에 조건부로 설정된 모델 파라미터를 강건하고 확장 가능한 방식으로 제공할 수 있는가?
• RQ4 기존의 테스트 시 적응 방법과 비교해, 저자료 또는 다중도메인 타겟 환경에서 이 방법은 어떤 성능을 보이는가?
• RQ5 도메인 식별자나 배치 수준의 타겟 데이터 없이도 모델은 다양한 도메인 간에 효과적으로 일반화할 수 있는가?

주요 결과

• 제안된 방법은 PACS에서 ResNet-50 기반으로 71.07%의 평균 정확도를 기록하며 기존 방법들을 능가하는 최신 기술 수준 성능을 달성한다. Office-Home에서는 ResNet-18 기반으로 66.02%의 정확도를 기록한다.
• PACS에서 ResNet-50 기반으로 87.51%의 정확도를 달성하였으며, 왕 등(2021)의 SOTA 방법(128개 타겟 샘플을 사용한 파인튜닝)을 뛰어넘었다.
• 단일 샘플 또는 소규모 타겟 배치에 대해 뛰어난 강건성을 보이며, Tent과 같은 기존 방법은 성능이 크게 떨어지는 상황에서도 안정적인 성능 유지를 보였다.
• 제거 실험 결과, 메타학습이 적응 능력에 필수적임을 확인하였으며, 이를 생략할 경우 성능 저하가 발생하였다.
• 도메인 식별자 없이도 다수의 타겟 도메인 간에 효과적으로 일반화되며, 각 샘플을 독립적으로 처리하고 개별 샘플 기반의 적응을 수행한다.
• 회전된-MNIST 및 패션-MNIST에서도 강력한 성능을 유지하여, 다양한 데이터셋에 걸쳐 광범위한 적용 가능성을 입증하였다.