[논문 리뷰] Out-of-Distribution Generalization with Maximal Invariant Predictor

Masanori Koyama, Shoichiro Yamaguchi|arXiv (Cornell University)|2021. 05. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 15인용 수 42

한 줄 요약

이 논문은 목표 변수와의 상호정보량을 최대화하는 불변 특징을 식별함으로써 분포 외 일반화를 위한 상호 기울기 정렬(IGA) 알고리즘을 제안한다. 이는 특징 학습과 예측기 학습을 동시에 수행할 수 있게 하며, 이론적으로 최대 불변 예측기 조건을 확립하고, 표준 및 확장된 색상 MNIST 벤치마크에서 최고 성능을 기록한다.

ABSTRACT

Out-of-Distribution (OOD) generalization is a problem of seeking the predictor function whose performance in the worst environment is optimal. This paper makes both theoretical and algorithmic contributions to the OOD problem. We consider a set of all invariant features conditioned to which the target variable and the environment variable becomes independent, and theoretically prove that one can seek an OOD optimal predictor by looking for the mutual-information maximizing feature amongst the invariant features. We establish this result as extit{Maximal Invariant Predictor condition}. Our theoretical work is closely related to approaches like Invariant Risk Minimization and Invariant Rationalization. We also derive from our theory the extit{Inter Gradient Alignment}(IGA) algorithm that uses a parametrization trick to conduct extit{feature searching} and extit{predictor training} at once. We develop an extension of the Colored-MNIST that can more accurately represent the pathological OOD situation than the original version, and demonstrate the superiority of IGA over previous methods on both the original and the extended version of Colored-MNIST.

연구 동기 및 목표

• 다양한 환경에서 잘 작동하는 예측기를 식별하여 분포 외(OOD) 일반화 문제에 도전한다.
• 가장 악조건의 환경에서도 예측 성능을 최대화하는 불변 특징의 이론적 조건을 확립한다.
• 불변 특징 탐색과 예측기 학습을 동시에 수행하는 통합 알고리즘을 개발하여 OOD 내성 강도를 향상시킨다.
• 더 병적인 OOD 벤치마크를 만들기 위해 색상 MNIST를 확장하여 실제 세계의 분포 이탈을 더 잘 반영한다.

제안 방법

• 논문은 최대 불변 예측기 조건을 도입하여, 환경에 대해 불변일 때 목표 변수와의 상호정보량을 최대화하는 특징이 최적의 OOD 예측기를 유도함을 증명한다.
• 상호 기울기 정렬(IGA) 알고리즘을 제안하며, 기울기 정렬을 통해 특징 표현과 예측기를 동시에 최적화하는 매개변수화 기법을 사용한다.
• IGA 는 특징 탐색과 예측기 학습이 동시에 이루어지는 엔드 투 엔드 학습을 가능하게 하여 별도의 최적화 단계를 피한다.
• 이 방법은 불변 위험 최소화와 불변 정당화 이론에 기반하여, 이들의 이론적 및 알고리즘적 프레임워크를 확장한다.
• 더 복잡한 유사 상관관계를 가진 도전적인 OOD 시나리오를 시뮬레이션하기 위해 확장된 색상 MNIST 데이터셋을 개발하였다.

실험 결과

연구 질문

• RQ1 어떤 이론적 조건이 다양한 환경에서 최악의 상황에서도 최적의 성능을 내는 예측기를 보장하는가?
• RQ2 목표 변수와의 상호정보량을 최대화하는 불변 특징은 어떻게 식별할 수 있는가?
• RQ3 하나의 알고리즘이 특징 학습과 예측기 학습을 동시에 최적화하여 OOD 일반화 성능을 향상시킬 수 있는가?
• RQ4 제안된 방법은 더 현실적이고 병적인 OOD 분포 이탈 상황에서 어떻게 성능을 발휘하는가?

주요 결과

• 최대 불변 예측기 조건은 이론적으로 증명되었으며, 불변 특징 간의 상호정보량 최대화가 OOD 최적 예측기를 도출함을 보여준다.
• 상호 기울기 정렬(IGA) 알고리즘은 원본 및 확장된 색상 MNIST 모두에서 기존 방법들을 능가하는 뛰어난 OOD 일반화 성능을 기록한다.
• 확장된 색상 MNIST 벤치마크는 원본 버전보다 더 정교하고 병적인 OOD 이탈을 더 정확히 반영한다.
• IGA 는 특징과 예측기의 공동 최적화를 효과적으로 수행함으로써 최첨단 성능을 달성한다.