[논문 리뷰] Empirical or Invariant Risk Minimization? A Sample Complexity Perspective

Kartik Ahuja, Jun Wang외 3명|arXiv (Cornell University)|2020. 10. 30.

Statistical Methods and Inference참고 문헌 29인용 수 15

한 줄 요약

이 논문은 표본 복잡도 관점에서 경험적 리스크 최소화(ERM)와 불변 리스크 최소화(IRM)를 비교하며, 교란자나 반-인과적 이동이 있는 경우 IRM이 ERM을 능가함을 보여준다 — 이는 이상 예측자와의 거리가 O(√ε) 이내이며, 표본 복잡도가 O(1/ε²)로 스케일링되며 모델 복잡도에 대해 다항식적으로 증가한다. 반면, ERM은 이러한 설정에서 점차적으로 편향을 보이며, 공변량 이동에서는 두 방법이 유사하게 작동한다.

ABSTRACT

Recently, invariant risk minimization (IRM) was proposed as a promising solution to address out-of-distribution (OOD) generalization. However, it is unclear when IRM should be preferred over the widely-employed empirical risk minimization (ERM) framework. In this work, we analyze both these frameworks from the perspective of sample complexity, thus taking a firm step towards answering this important question. We find that depending on the type of data generation mechanism, the two approaches might have very different finite sample and asymptotic behavior. For example, in the covariate shift setting we see that the two approaches not only arrive at the same asymptotic solution, but also have similar finite sample behavior with no clear winner. For other distribution shifts such as those involving confounders or anti-causal variables, however, the two approaches arrive at different asymptotic solutions where IRM is guaranteed to be close to the desired OOD solutions in the finite sample regime, while ERM is biased even asymptotically. We further investigate how different factors -- the number of environments, complexity of the model, and IRM penalty weight -- impact the sample complexity of IRM in relation to its distance from the OOD solutions

연구 동기 및 목표

• 외부 분포 일반화에서 IRM을 ERM보다 선호할 시점을 규명하기 위한 열린 질문 해결.
• 다양한 분포 이동 유형 하에서 ERM와 IRM의 유한 표본 및 점차적 행동 분석.
• 다항 생성 모델에서 IRM의 진정한 불변 예측자에 대한 표본 복잡도 정량화.
• 무한 데이터가 존재하더라도 ERM이 점차적으로 편향을 보이는 조건 규명.
• 공변량 이동, 교란자, 반-인과 변수를 포함한 여러 분포 이동 메커니즘에서 ERM와 IRM의 성능 비교.

제안 방법

• 분포 이동을 불변 조건을 통해 형식화: P(Y|Φ*(X))는 환경 간 일정하다.
• 선형 및 다항 생성 메커니즘을 갖는 구조 방정식 모델에서 ERM와 IRM 분석.
• IRM의 표본 복잡도 한계 유도: IRM 제약 조건의 여유 ε에 대해 O(1/ε²) 스케일링.
• 기울기 분석을 통해 ρ̄ 행렬이 전위수일 때 ERM의 점차적 편향 증명.
• 최악의 경우 리스크를 최소화하기 위해 환경 간 불변성을 강제하는 IRM의 최소-최대 최적화.
• 최적화 및 고차원 통계 이론 도구를 활용해 이상 불변 예측자에서의 이탈을 상한선으로 제시.

실험 결과

연구 질문

• RQ1 어떤 분포 이동 유형에서 IRM이 표본 복잡도 및 유한 표본 성능 측면에서 ERM를 능가하는가?
• RQ2 교란자나 반-인과 변수가 데이터 생성 과정에 존재할 경우 ERM는 점차적으로 비편향적인가?
• RQ3 IRM의 표본 복잡도는 제약 조건의 여유 ε과 모델 클래스의 복잡도에 따라 어떻게 스케일링되는가?
• RQ4 무한 데이터가 존재하더라도 ERM가 편향을 보이는 조건은 무엇이며, IRM는 이를 어떻게 피하는가?
• RQ5 환경 수, 모델 복잡도, IRM 페널티 가중치가 함께 IRM의 불변 예측자 수렴에 어떻게 영향을 미치는가?

주요 결과

• 공변량 이동(Φ* = 항등함수)에서는 ERM와 IRM가 동일한 점차적 해를 달성하며, 동일한 유한 표본 행동을 보이며, 명백한 승자 없음.
• 교란자 또는 반-인과적 이동 설정(Φ* ≠ 항등함수)에서는 ERM가 점차적으로 편향을 보이며, 무한 데이터가 있어도 진정한 불변 예측자로 수렴하지 못함.
• IRM은 이상 불변 예측자와의 거리가 O(√ε) 이내인 해를 달성할 수 있으며, 다항식 모델에서 표본 복잡도가 O(1/ε²)로 스케일링됨.
• IRM의 표본 복잡도는 모델 클래스 복잡도에 대해 다항식적으로 증가하지만, ERM의 편향은 공변량 이동 이외의 설정에서는 데이터 크기와 관계없이 지속됨.
• ERM의 편향은 행렬 ρ̄ = [𝔼[εᵉXᵉ]]의 질량이 1 이상일 때 발생하며, 이는 비퇴화 분포 하에서 일반적으로 성립함.
• IRM의 최소-최대 최적화는 약한 정규성 조건 하에서 불변 예측자로 수렴을 보장하지만, ERM는 이러한 불변성을 보장하지 않음.