[논문 리뷰] Nonlinear Invariant Risk Minimization: A Causal Approach

Chaochao Lu, Yuhuai Wu외 2명|arXiv (Cornell University)|2021. 02. 24.

Domain Adaptation and Few-Shot Learning참고 문헌 96인용 수 26

한 줄 요약

iCaRL을 도입하는 비선형 불변 리스크 최소화 프레임워크로, 잠재 원인을 식별적으로 학습하고 일반적인 지수 가족 사전 하에서 분포 외(out-of-distribution) 일반화를 가능하게 한다.

ABSTRACT

Due to spurious correlations, machine learning systems often fail to generalize to environments whose distributions differ from the ones used at training time. Prior work addressing this, either explicitly or implicitly, attempted to find a data representation that has an invariant relationship with the target. This is done by leveraging a diverse set of training environments to reduce the effect of spurious features and build an invariant predictor. However, these methods have generalization guarantees only when both data representation and classifiers come from a linear model class. We propose invariant Causal Representation Learning (iCaRL), an approach that enables out-of-distribution (OOD) generalization in the nonlinear setting (i.e., nonlinear representations and nonlinear classifiers). It builds upon a practical and general assumption: the prior over the data representation (i.e., a set of latent variables encoding the data) given the target and the environment belongs to general exponential family distributions. Based on this, we show that it is possible to identify the data representation up to simple transformations. We also prove that all direct causes of the target can be fully discovered, which further enables us to obtain generalization guarantees in the nonlinear setting. Extensive experiments on both synthetic and real-world datasets show that our approach outperforms a variety of baseline methods. Finally, in the discussion, we further explore the aforementioned assumption and propose a more general hypothesis, called the Agnostic Hypothesis: there exist a set of hidden causal factors affecting both inputs and outcomes. The Agnostic Hypothesis can provide a unifying view of machine learning. More importantly, it can inspire a new direction to explore a general theory for identifying hidden causal factors, which is key to enabling the OOD generalization guarantees.

연구 동기 및 목표

• 환경 간 분포 변화와 허위 상관관계에 대한 강건성의 필요성을 제시한다.
• 식별 가능성과 OOD 보장을 달성하는 일반적인 비선형 프레임워크(iCaRL)를 제안한다.
• 잠재 요인 간 의존성을 포착하기 위해 iVAE를 일반 지수-가족 사전으로 확장한다.
• 타깃의 직접 원인을 식별하고 이를 바탕으로 불변 예측기를 학습한다.
• 학습 패러다임 간 표현 학습의 통합적 관점으로서 Agnostic Hypothesis를 논의한다.

제안 방법

• 잠재 의존성을 포착하기 위해 신경망 기반 의존성(T_NN)을 포함하는 일반 비인수화(latent) 사전으로 iVAE를 확장한다.
• Phase 1: 데이터 (O, Y, E)를 사용하여 NF-iVAE를 학습하고 사전 매개변수에 대한 점수 매칭을 이용해 X를 순열/변환까지 식별한다.
• Phase 2: 잠재 X에 대해 쌍별 및 조건부 독립성 검정을 수행하여 타깃의 직접 원인 Pa(Y)를 발견한다.
• Phase 3: Pa(Y)를 특징으로 사용하고 새로운 환경에서 O로부터 Pa(Y)를 추론하여 Maximum A Posteriori 유사 최적화(Equation 12)로 환경 간 위험을 최소화하여 불변 예측기를 학습한다.
• 이론적 결과는 X의 간단한 변환까지 식별 가능성(Theorems 1–3)을 보이고, OOD 일반화 보장(Proposition 1)을 제시한다.
• 이 프레임워크는 식별 가능성과 일반화를 가능하게 하도록 Assumptions 1 (인과 그래프와 불변성) 및 2 (일반 지수 가족 사전)에 의존한다.

실험 결과

연구 질문

• RQ1 유연한 잠재 사전 아래에서 비선형 데이터 표현과 분류기가 환경 간 불변 예측기를 도출할 수 있는가?
• RQ2 Assumptions 1 및 2하에서 타깃의 잠재 원인을 식별적으로 회복하고 OOD 일반화를 보장할 수 있는가?
• RQ3 일반 지수 가족 사전으로 iVAE를 확장하는 것이 인수(priors)가 분해된 가정 이상의 식별 가능성을 가능하게 하는가?
• RQ4 독립성 검정을 통해 추론된 잠재 변수로부터 타깃의 직접 원인을 신뢰성 있게 발견할 수 있는가?
• RQ5 발견된 원인으로부터 예측기를 학습하면 보지 않은 환경에서 견고한 성능을 보이는가?

주요 결과

• iCaRL은 일반 지수 가족 사전하에서 X의 잠재 변수를 순열 및 간단한 변환까지 식별 가능하게 한다.
• 타깃의 직접 원인 Pa(Y)는 식별된 잠재 변수로부터 독립성 검정을 이용해 전부 발견될 수 있다.
• Pa(Y)로부터 불변 예측기를 학습하면 모든 환경에서 일반화되어 비선형 설정에서 OOD 보장을 제공한다.
• 일반화된 사전을 가진 NF-iVAE가 O, Y, E로부터 X를 식별적으로 추정하여 후속 인과 발견과 불변 예측을 가능하게 한다.
• Agnostic Hypothesis를 감독 학습, 비지도 학습, 강화 학습 맥락 전반의 표현 학습을 아우르는 통합적 관점으로 제안한다.