[논문 리뷰] Invariant Risk Minimization

Martín Arjovsky, Léon Bottou외 2명|arXiv (Cornell University)|2019. 07. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 51인용 수 321

한 줄 요약

IRM은 다수의 학습 환경에서 불변 예측기를 유도하는 데이터 표현을 학습하도록 제안하며, 안정적이고 인과적 신호를 허위 상관관계와 분리함으로써 분포 외 일반화를 가능하게 한다.

ABSTRACT

We introduce Invariant Risk Minimization (IRM), a learning paradigm to estimate invariant correlations across multiple training distributions. To achieve this goal, IRM learns a data representation such that the optimal classifier, on top of that data representation, matches for all training distributions. Through theory and experiments, we show how the invariances learned by IRM relate to the causal structures governing the data and enable out-of-distribution generalization.

연구 동기 및 목표

• 분포 이동과 선택 편향 하의 일반화 문제를 동기 부여하고 형식화한다.
• IRM을 다양한 환경 간에 불변 예측기를 지원하는 표현을 학습하는 패러다임으로 도입한다.
• 불변성, 인과성, 일반화之间의 이론적 및 알고리즘적 기초를 제공한다.
• 실용적 방법을 시연하고 한계점 및 향후 방향을 논의한다.

제안 방법

• 환경과 IRM 객체를 정의하여 여러 환경에서 위험을 최소화하는 표현과 고정 분류기를 찾는다.
• 가속 경사 penalty를 사용하여 불변성을 장려하는 실용적 완화를 제시한 IRMv1을 도입한다.
• 안정적 매트릭스 반전을 피하기 위해 정상방정식에 기초한 선형 불변성 패널티 D_lin을 제안한다.
• 선형 사례에서 불변 모니터링에 충분한 고정 스칼라 분류기를 보이고 이를 비선형 Phi로 확장한다.
• 구조방정식모형과 개입을 통해 IRM을 인과 추론과 연결하고, 보이지 않는 환경으로의 전달 조건을 제공한다.

실험 결과

연구 질문

• RQ1 여러 학습 환경 간에 불변한 예측기를 학습하는 방법은 무엇인가?
• RQ2 학습 환경에서 학습된 불변성이 보이지 않는 환경으로 전달되는 조건은 무엇인가?
• RQ3 표현 학습에서 불변성을 강제하는 알고리즘적 및 이론적 함의는 무엇인가?
• RQ4 IRM은 인과성에 어떤 관련이 있으며, 이것이 분포 외 일반화에 대해 무엇을 시사하는가?

주요 결과

• IRM은 환경 간 불변 예측기를 생성하는 표현을 학습하기 위한 실용적 목표를 정의한다.
• IRMv1 공식은 불변성을 강제하면서 예측력을 보존하는 그라디언트 패널티를 사용한다.
• 선형 불변성 패널티 D_lin은 최적성 조건 위반을 불안정한 역전 없이 견고하게 측정하도록 제안된다.
• 이 연구는 불변성과 인과성 간의 연결을 SEM과 개입을 통해 제시하며, 불변성이 OOD 일반화를 시사하는 조건을 개략한다.
• IRM은 학습 환경 간 불변성이 분포 이동하더라도 해당 환경들을 넘어 일반화를 가능하게 할 수 있음을 시연한다.