[논문 리뷰] Does Invariant Risk Minimization Capture Invariance?

Pritish Kamath, Akilesh Tangella외 2명|arXiv (Cornell University)|2021. 01. 04.

Bayesian Modeling and Causal Inference참고 문헌 8인용 수 23

한 줄 요약

이 논문은 무한한 데이터를 가진 단순하고 이상화된 설정에서도 선형 버전의 불변 위험 최소화(Invariant Risk Minimization, IRMv1)가 진정한 불변성을 포착하지 못할 수 있음을 보여주며, 이는 표준 경험적 위험 최소화(Empirical Risk Minimization, ERM)보다 더 열악한 분포 외 일반화를 초래할 수 있음을 시사한다. 저자들은 이론적 IRM 수식과 실용적 구현 간의 근본적인 격차를 규명하여, IRMv1이 비불변 손실 함수와 샘플링 불안정성으로 인해 최적의 예측기로 수렴할 수 있음을 보여준다.

ABSTRACT

We show that the Invariant Risk Minimization (IRM) formulation of Arjovsky et al. (2019) can fail to capture "natural" invariances, at least when used in its practical "linear" form, and even on very simple problems which directly follow the motivating examples for IRM. This can lead to worse generalization on new environments, even when compared to unconstrained ERM. The issue stems from a significant gap between the linear variant (as in their concrete method IRMv1) and the full non-linear IRM formulation. Additionally, even when capturing the "right" invariances, we show that it is possible for IRM to learn a sub-optimal predictor, due to the loss function not being invariant across environments. The issues arise even when measuring invariance on the population distributions, but are exacerbated by the fact that IRM is extremely fragile to sampling.

연구 동기 및 목표

• 실용적인 선형 형태의 불변 위험 최소화(Invariant Risk Minimization, IRMv1)가 데이터 분포에서 진정한 불변성을 신뢰성 있게 포착할 수 있는지 조사하기.
• IRMv1이 분포 외 안정성을 향상시키는 것을 목표로 하건대도, 그 목적과는 반대로 일반화 성능이 제약 없는 ERM보다 열악한 이유를 분석하기.
• 조건부 분포의 불변성은 만족되더라도, 환경 간 손실의 불변성이 예측기 품질에 미치는 영향을 검토하기.
• 소규모 훈련 환경 세트로부터 학습된 불변 예측기가 더 넓은 목표 환경으로 일반화되는 조건을 연구하기.
• 유한 표본 추정이 IRM의 성능에 미치는 영향, 특히 데이터 샘플링 노이즈에 대한 취약성 평가하기.

제안 방법

• 모든 환경에서 최적일 것으로 기대되는 표현 φ와 예측기 w를 찾는 이중 최적화 문제로 IRM 프레임워크를 수식화하며, w ∘ φ가 최적임을 보장한다.
• 컬러드-MNIST 문제를 추상화하기 위해 단순화된 이진 입력 공간 X = {0,1}²을 도입하여 불변성과 일반화의 분석적 연구를 가능하게 한다.
• 모수 수준의 IRM 해법(IRM_S)과 실용적 IRMv1 알고리즘을 비교하며, IRMv1은 w를 선형 예측기로 제한한다.
• λ(정규화 강도)과 표본 크기 n을 증가시킬 때의 IRMv1 행동을 분석하여, 유한 표본과 모수 수준의 행동 간 괴리 현상을 보여준다.
• 근사 최적성 제약을 允허하기 위해 IRM의 ε-완화된 형태를 도입하며, 더 견고한 실용적 구현 방향을 제안한다.
• 통제된 유사 상관관계를 가진 합성 환경을 사용하여, IRMv1이 분포 외 데이터에서 ERM보다 열악한 예측기를 선택하는 실패 사례를 시연한다.

실험 결과

연구 질문

• RQ1 무한히 많은 환경에서 훈련하고 모수 분포에 대한 완벽한 지식을 가진 상태에서도 IRMv1이 진정한 불변 예측기를 학습하지 못할 수 있는가?
• RQ2 조건부 불변성은 만족하건대도, 왜 IRM이 분포 외 일반화 성능이 열악한 불변 예측기를 선택하는가?
• RQ3 손실 함수가 환경 간 불변성이 없을 경우, 학습된 예측기의 품질에 얼마나 큰 영향을 미치는가?
• RQ4 훈련 환경 집합 E_tr에 대해 어떤 구조적 가정을 할 경우, 불변 예측기는 더 넓은 목표 환경으로 일반화될 수 있는가?
• RQ5 유한 표본 추정은 IRM과 IRMv1의 안정성과 성능에 어떻게 영향을 미치며, 특히 샘플링 노이즈 존재 시에 어떻게 작용하는가?

주요 결과

• IRMv1는 무한한 훈련 환경과 모수 분포에 대한 완벽한 지식이 있음에도 불구하고, 예측기의 선형 제약으로 인해 진정한 불변 예측기를 학습하지 못할 수 있다.
• 일부 경우에서 IRMv1는 제약 없는 ERM보다 분포 외 환경에서 일반화 성능이 열악한 예측기를 학습하며, IRM의 핵심 동기와 정면으로 배치된다.
• 조건부 분포 P(Y|φ(X))가 환경 간 불변이더라도, 손실 L(w∘φ)는 불변이 아닐 수 있으며, 이로 인해 IRM은 열등한 예측기를 선호할 수 있다.
• IRMv1는 샘플링 노이즈에 매우 민감하다: 훈련 환경의 미세한 변형조차도 IRMv1이 비어 있는 0-예측기로 수렴하게 만들 수 있으며, 이는 모수 수준의 해가 비자명한 경우에도 마찬가지다.
• 이론적 IRM 수식과 IRMv1 간 격차는 크며, 표본 크기에 따라 λ를 적절히 증가시키지 않는 한 IRMv1는 모수 수준의 IRM_S 해로 수렴하지 않는다.
• ε-완화된 IRM은 더 견고한 실용적 알고리즘으로 향한 잠재적 길을 제안하지만, 실현 가능성은 여전히 열려 있는 과제이다.