[논문 리뷰] Adaptive Risk Minimization: A Meta-Learning Approach for Tackling Group Distribution Shift

Marvin Zhang, Henrik Marklund외 4명|arXiv (Cornell University)|2020. 07. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 42인용 수 25

한 줄 요약

이 논문은 데이터 그룹 간 분포 이탈에 대응하기 위해 테스트 시점에서 적응할 수 있도록 모델을 훈련하는 메타학습 프레임워크인 적응형 리스크 최소화(ARM)를 제안한다. 훈련 중 다양한 시뮬레이션된 그룹 분포 이탈에 대해 성능을 최적화함으로써, 이미지 분류 벤치마크에서 기존의 강건성, 불변성, 적응 방법보다 1–4% 높은 테스트 정확도를 달성한다.

ABSTRACT

A fundamental assumption of most machine learning algorithms is that the training and test data are drawn from the same underlying distribution. However, this assumption is violated in almost all practical applications: machine learning systems are regularly tested under distribution shift, due to changing temporal correlations, atypical end users, or other factors. In this work, we consider the setting where the training data are structured into groups and there may be multiple test time shifts, corresponding to new groups or group distributions. Most prior methods aim to learn a single robust model or invariant feature space to tackle this group shift. In contrast, we aim to learn models that adapt at test time to shift using unlabeled test points. Our primary contribution is to introduce the framework of adaptive risk minimization (ARM), in which models are optimized for post adaptation performance on training batches sampled from different groups, which simulate group shifts that may occur at test time. We use meta-learning to solve the ARM problem, and compared to prior methods for robustness, invariance, and adaptation, ARM methods provide consistent gains of 1-4% test accuracy on image classification problems exhibiting group shift.

연구 동기 및 목표

• 실제 머신러닝 응용에서 테스트 데이터가 훈련 데이터와 그룹별로 다른 분포를 보일 때 발생하는 그룹 분포 이탈 문제를 해결하기 위해.
• 고정된 강건성 또는 불변 표현에 의존하는 대신, 레이블이 없는 테스트 포인트를 사용해 테스트 시점에서 동적으로 적응할 수 있는 방법을 개발하기 위해.
• 메타학습을 통해 훈련 중에 이러한 이탈을 시뮬레이션함으로써, 여러 개의 미리 보지 못한 그룹 이탈 상황에서도 일반화 성능을 향상시키기 위해.
• 다양한 그룹 분포에서의 적응 후 성능을 명시적으로 최적화하여, 기존의 강건성, 불변성, 적응 방법을 초월하는 성능을 달성하기 위해.

제안 방법

• 다양한 그룹에서 샘플된 훈련 배치를 사용해 잠재적인 테스트 시점 분포 이탈을 시뮬레이션하기 위해, 적응 후 성능을 최적화하는 ARM이라는 훈련 목표를 도입한다.
• 메타학습을 활용해, 레이블이 없는 테스트 데이터만으로도 추론 시점에 새로운 그룹 분포에 신속히 적응할 수 있는 모델을 훈련한다.
• 각 지원 세트가 특정 그룹 분포의 소수의 레이블된 예제로 구성되며, 다양한 그룹 이탈을 나타내는 다수의 지원 세트를 훈련에 사용한다.
• 테스트 시점에서, 새로운 그룹의 레이블이 없는 테스트 포인트를 사용해 소수의 적응 스텝을 거쳐 모델을 피지테이닝함으로써, 적응 후 리스크를 최소화한다.
• 메타목표를 훈련 중에 시뮬레이션된 모든 그룹 이탈에 대해 적응 후 기대 리스크를 최소화하는 것으로 설정한다.
• 이중 최적화 과정을 활용한다: 내부 루프는 지원 세트에서 모델을 적응시키고, 외부 루프는 모든 그룹에 걸쳐 적응된 리스크를 최소화하기 위해 모델 파라미터를 업데이트한다.

실험 결과

연구 질문

• RQ1 메타학습된 모델이 레이블이 없는 데이터를 사용해 테스트 시점에서 적응함으로써, 그룹 분포 이탈 상황에서 더 나은 일반화를 달성할 수 있는가?
• RQ2 제안된 ARM 프레임워크는 불변 표현을 학습하거나 단일 강건 모델을 학습하는 방법과 비교해 분포 이탈 상황에서 테스트 정확도 측면에서 어떻게 성능을 내는가?
• RQ3 훈련 중에 적응 후 성능을 최적화함으로써, 다양한 그룹 이탈 시나리오에서 일관된 성능 향상이 이루어지는가?
• RQ4 테스트 시점에서의 적응 능력이 새로운 그룹 분포에서의 성능 저하를 어느 정도 감소시키는가?

주요 결과

• ARM는 그룹 분포 이탈이 존재하는 이미지 분류 과제에서, 강건성, 불변성, 적응에 초점을 맞춘 기존 방법보다 일관되게 1–4% 높은 테스트 정확도를 확보한다.
• 다양한 그룹 이탈을 보이는 다수의 벤치마크 데이터셋에서 뛰어난 성능을 기록하며, 다양한 미리 보지 못한 그룹 분포에 대한 강건성을 입증한다.
• 메타학습 덕분에, 새로운 그룹의 소수의 레이블이 없는 예제만으로도 테스트 시점에서 효과적인 적응이 가능하며, 추론 시 레이블이 없는 데이터가 필요로 하지 않는다.
• 그룹 분포 이탈이 심한 경우 ARM의 성능 향상이 가장 두드러지며, 이는 실제 운영 환경에서의 효과성을 시사한다.
• 프레임워크는 불변 리스크 최소화 및 표준 도메인 일반화 방법을 모두 초월하며, 적응 성능을 명시적으로 최적화함으로써 성능을 향상시킨다.
• 제거 실험을 통해 ARM의 성공의 핵심은 훈련 중 그룹 이탈을 시뮬레이션하고, 적응 후 성능을 최적화하는 데 있음을 확인한다.