[논문 리뷰] The Risks of Invariant Risk Minimization

Elan Rosenfeld, Pradeep Ravikumar외 1명|arXiv (Cornell University)|2020. 10. 12.

Adversarial Robustness in Machine Learning참고 문헌 43인용 수 73

한 줄 요약

이 논문은 불변 위험 최소화(IRM)와 그 비선형 변형을 분석하여, IRM이 선형 및 비선형 설정에서 ERM보다 우수하지 못할 수 있고, 특히 제한된 환경에서 비불변 특성에 의존할 수 있음을 보인다.

ABSTRACT

Invariant Causal Prediction (Peters et al., 2016) is a technique for out-of-distribution generalization which assumes that some aspects of the data distribution vary across the training set but that the underlying causal mechanisms remain constant. Recently, Arjovsky et al. (2019) proposed Invariant Risk Minimization (IRM), an objective based on this idea for learning deep, invariant features of data which are a complex function of latent variables; many alternatives have subsequently been suggested. However, formal guarantees for all of these works are severely lacking. In this paper, we present the first analysis of classification under the IRM objective--as well as these recently proposed alternatives--under a fairly natural and general model. In the linear case, we show simple conditions under which the optimal solution succeeds or, more often, fails to recover the optimal invariant predictor. We furthermore present the very first results in the non-linear regime: we demonstrate that IRM can fail catastrophically unless the test data are sufficiently similar to the training distribution--this is precisely the issue that it was intended to solve. Thus, in this setting we find that IRM and its alternatives fundamentally do not improve over standard Empirical Risk Minimization.

연구 동기 및 목표

• 불변 예측 프레임워크를 활용하여 불변 인과 메커니즘을 이용한 OOD 일반화를 달성하기 위한 동기 부여 및 형식화.
• 자연스러운 SEM 기반 모델에서 IRM에 대한 엄밀한 분석을 제공하여 언제 성공하는지 또는 실패하는지 결정한다.
• IRM이 ERM과 다르지 않거나, 경우에 따라 비불변 특성에 의존하여 일반화가 저조해질 수 있음을 보인다.

제안 방법

• 여러 환경에 걸친 불변 특성 z_c와 환경(비불변) 특성 z_e를 갖는 구조방정식 모델을 정의한다.
• 오직 불변 특성만을 사용하는 최적의 불변 예측기를 형식화하고, 이것이 환경에 대해 불변임을 보인다.
• 선형 설정에서의 IRM 목적(이계층적 및 페널티형 형태)을 분석하여 최적 불변성을 위한 필요충분조건을 환경 수 E와 환경 차원 d_e에 대해 확립한다.
• 비선형 영역으로 확장하여, 충분히 넓게 coverage되지 않으면 IRM이 ERM과 DRO와 유사한 동작으로 악화될 수 있음을 보인다.
• IRM 대안들이 비슷한 한계를 상속받는다는 보조 결론을 제시한다.

실험 결과

연구 질문

• RQ1 선형 영역에서 IRM이 최적 불변 예측기를 회복하는 조건은 무엇인가?
• RQ2 IRM과 비선형 변형들이 분포 변화하에서도 표준 ERM이나 DRO를 능가할 수 있는가?
• RQ3 훈련 환경의 수가 환경 특성(d_e)에 비해 작을 때(E ≤ d_e)의 경우는 어떻게 되는가?
• RQ4 환경이 비불변 변이 공간을 충분히 포괄하지 못할 때 비선형 설정에서 IRM은 어떻게 작동하는가?
• RQ5 IRM 대안들도 IRM과 같은 근본적인 한계를 겪는가?

주요 결과

• 선형 경우, E > d_e일 때 IRM 해는 불변 특성만을 사용하는 불변 예측기를 회복한다.
• E ≤ d_e인 경우, 환경 특성을 사용하는 선형 예측기가 최적의 불변 예측기보다 학습 위험을 더 낮게 달성한다.
• 비선형 영역에서, IRM은 학습 환경이 비불변 특성의 공간을 대략적으로 포괄하지 않으면 심각하게 실패하여 ERM이나 DRO와 유사한 동작으로 떨어질 수 있다.
• 환경 특성을 사용하는 가능한 예측기들이 학습 환경에서의 위험을 최적 불변 예측기보다 더 낮게 달성하는 사례가 있어, 불변성에 의한 일반화에 실패함을 시사한다.
• 보조 결론은 많은 제안된 IRM 대안들도 선형 및 비선형 설정에서 IRM과 같은 근본적인 한계를 공유한다는 점을 보여준다.