[논문 리뷰] Adaptive Risk Minimization: Learning to Adapt to Domain Shift

Marvin Mengxin Zhang, Henrik Marklund외 4명|arXiv (Cornell University)|2020. 07. 06.

Domain Adaptation and Few-Shot Learning인용 수 28

한 줄 요약

이 논문은 테스트 시 도메인 분포 변화에 대응하기 위해 레이블이 없는 테스트 데이터를 사용하여 모델을 적응시키는 데 중점을 두는 Adaptive Risk Minimization (ARM) 프레임워크를 소개한다. 훈련 도메인에서 적응 전략을 메타학습함으로써 ARM은 분포 변화가 있는 이미지 분류 벤치마크에서 기존 방법보다 1–4%의 정확도 향상을 이룬다.

ABSTRACT

A fundamental assumption of most machine learning algorithms is that the training and test data are drawn from the same underlying distribution. However, this assumption is violated in almost all practical applications: machine learning systems are regularly tested under distribution shift, due to changing temporal correlations, atypical end users, or other factors. In this work, we consider the problem setting of domain generalization, where the training data are structured into domains and there may be multiple test time shifts, corresponding to new domains or domain distributions. Most prior methods aim to learn a single robust model or invariant feature space that performs well on all domains. In contrast, we aim to learn models that adapt at test time to domain shift using unlabeled test points. Our primary contribution is to introduce the framework of adaptive risk minimization (ARM), in which models are directly optimized for effective adaptation to shift by learning to adapt on the training domains. Compared to prior methods for robustness, invariance, and adaptation, ARM methods provide performance gains of 1-4% test accuracy on a number of image classification problems exhibiting domain shift.

연구 동기 및 목표

• 훈련 데이터와 테스트 데이터의 분포가 다를 경우 표준 기계학습 모델이 성능을 저하시키는 데 기인한 한계를 해결한다.
• 입력-출력 관계가 모든 도메인에서 일관되다고 가정하는 불변 표현 학습의 단점을 극복하며, 관계가 변화하는 경우 실패하는 상황을 대비한다.
• 손글씨 인식이나 의료 영상과 같은 응용 분야에서 실질적인 가정인 새로운 도메인의 레이블이 없는 예시들만을 사용하여 효과적인 테스트 시 적응을 가능하게 한다.
• 훈련 도메인에서의 성능뿐만 아니라 추론 시 효과적인 적응 능력까지 최적화하는 통합 프레임워크를 개발한다.
• 메타학습된 적응 전략이 다양한 분포 변화 벤치마크에서 표준 ERM 및 불변 기반 방법보다 뛰어난 강건성을 보임을 입증한다.

제안 방법

• 테스트 데이터에서 레이블이 없는 데이터를 사용하여 미리 알 수 없는 도메인에 효과적으로 적응할 수 있도록 최적화하는 Adaptive Risk Minimization (ARM)를 제안한다.
• 메타학습을 통해 훈련 도메인 세트에서 모델을 훈련시켜, 레이블이 없는 테스트 배치를 통해 미세조정을 통해 새로운 도메인에 신속히 적응할 수 있도록 한다.
• 컨텍스트 기반 메타학습을 활용하여, 적응 과정을 테스트 입력 배치의 통계(예: 배치 정규화 값)에 따라 안내한다.
• 이중 최적화를 통해 ARM 목적함수를 적용한다: 내부 루프는 테스트 배치에서 모델을 적응시키고, 외부 루프는 적응 후 기대 위험를 최소화하도록 모델 파라미터를 업데이트한다.
• 스트리밍 환경으로의 확장을 고려하여, 들어오는 레이블이 없는 데이터에 대해 점진적으로 적응하는 프레임워크를 개발하며, 실질적으로 빠른 수렴을 보여준다.
• 정규화 레이어(예: BatchNorm)와 ARM을 통합하여 효율적인 적응을 가능하게 하며, 실험에서 사용된 ARM-BN 버전을 구성한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 데이터만을 사용하여 테스트 시 도메인 분포 변화에 효과적으로 적응할 수 있도록 모델을 훈련시킬 수 있는가? (테스트 레이블이 필요 없이)
• RQ2 ARM를 통한 메타학습된 적응 전략은 다양한 분포 변화 상황에서 불변 표현 학습 및 표준 ERM와 비교해 어떤가?
• RQ3 레이블이 없는 테스트 데이터를 사용한 적응 능력이 실제 세계의 분포 변화가 존재하는 여러 벤치마크에서 일관된 성능 향상을 이끌어내는가?
• RQ4 ARM는 이미지 손상, 사용자 간 손글씨 변형, 의료 영상의 분포 변화 등 다양한 유형의 도메인 분포 변화에 일반화 가능한가?
• RQ5 스트리밍 환경에서 적응 스텝 수나 도착하는 데이터 포인트 수가 늘어남에 따라 ARM의 성능은 어떻게 변화하는가?

주요 결과

• ARM 방법은 도메인 분포 변화가 있는 이미지 분류 벤치마크에서 기존 최고 성능 방법보다 1–4%의 절대 정확도 향상을 달성한다.
• Wilds 벤치마크에서 ARM-BN은 RxRx1(87.2% 정확도)과 Camelyon17에서 뚜렷한 성능 향상을 보이며, ERM 및 불변 기반 방법을 압도한다.
• 스트리밍 환경에서 ARM 모델은 50개 미만의 레이블이 없는 테스트 포인트로도 Tiny ImageNet-C에서 뛰어난 성능을 기록하며, 빠르고 효과적인 적응 능력을 입증한다.
• ARM-BN은 FMoW에서 성능이 열악하게 나타나, 적응 전략이 특정 데이터 분포에 맞게 조정되어야 함을 시사하며, 다양한 적응 도구가 필요함을 강조한다.
• 여러 데이터셋에서 평균 및 최악의 성능 모두에서 일관된 향상을 보이며, 강건성 향상이 확인된다.
• 실험 결과는 입력-출력 관계가 도메인 간으로 변화하는 상황에서도 메타학습된 적응 전략이 효과적임을 확인하며, 이는 불변 기반 방법이 실패하는 영역에서의 유용성을 입증한다.