[논문 리뷰] Linear Regression Games: Convergence Guarantees to Approximate Out-of-Distribution Solutions

Kartik Ahuja, Karthikeyan Shanmugam외 1명|arXiv (Cornell University)|2020. 10. 28.

Statistical Methods and Inference참고 문헌 33인용 수 4

한 줄 요약

이 논문은 앙상블 게임을 ℓ∞ 구에 투영하여 증명 가능하게 수렴하는 비자명한 분포 외 일반화를 달성하는 제약선형회귀게임(C-LRG)을 제안한다. 이 게임의 내쉬 균형이 완전한 불변성을 확보하지 못하더라도 표준 ERM 및 IRM보다 더 나은 OOD 성능을 보임을 증명하며, 혼란 변수와 반인과적 변수가 있는 선형 모델에서 수렴 보장을 갖는 학습 알고리즘을 제공한다.

ABSTRACT

Recently, invariant risk minimization (IRM) (Arjovsky et al.) was proposed as a promising solution to address out-of-distribution (OOD) generalization. In Ahuja et al., it was shown that solving for the Nash equilibria of a new class of "ensemble-games" is equivalent to solving IRM. In this work, we extend the framework in Ahuja et al. for linear regressions by projecting the ensemble-game on an $\ell_{\infty}$ ball. We show that such projections help achieve non-trivial OOD guarantees despite not achieving perfect invariance. For linear models with confounders, we prove that Nash equilibria of these games are closer to the ideal OOD solutions than the standard empirical risk minimization (ERM) and we also provide learning algorithms that provably converge to these Nash Equilibria. Empirical comparisons of the proposed approach with the state-of-the-art show consistent gains in achieving OOD solutions in several settings involving anti-causal variables and confounders.

연구 동기 및 목표

• 혼란 변수와 반인과적 변수가 있는 선형 모델에서 강건한 분포 외(OOD) 일반화를 달성하는 데 도전하는 것.
• 기존 IRM 및 IRM-게임 프레임워크에서 OOD 학습에 대한 수렴 보장의 부족을 극복하는 것.
• 표준 경험 위험 최소화(ERM)보다 더 나은 OOD 성능을 달성하는 증명 가능하게 수렴하는 알고리즘을 개발하는 것.
• 내쉬 균형을 탐색함으로써 불변 예측자 탐색의 체계적인 대안을 제공하는 것.
• 임의의 상관관계가 있는 표준 벤치마크 설정에서 이론적 보장과 실증적 검증을 통해 향상된 OOD 일반화를 입증하는 것.

제안 방법

• 해결 공간을 정규화하고 OOD 강건성을 향상시키기 위해 ℓ∞ 구에 제약을 가한 새로운 종류의 앙상블 게임을 제안한다.
• 이러한 제약 게임의 내쉬 균형이 완전한 불변성을 확보하지 못하더라도 ERM보다 이상적인 OOD 예측자에 더 가까운 해를 제공함을 증명한다.
• 이러한 제약 앙상블 게임의 내쉬 균형으로 수렴하는 효율적인 학습 알고리즘을 설계한다.
• Ahuja 등 [2020]의 IRM-게임 프레임워크를 확장하여 ℓ∞-노름 제약을 도입함으로써 학습을 안정화하고 일반화를 향상시킨다.
• IRM의 교차검증을 두 환경 설정에 맞게 조정하기 위해 훈련 도메인 검증 세트 절차를 사용하여 공정한 비교를 보장한다.
• 인과적, 반인과적, 혼란 변수가 포함된 합성 데이터셋에서 표준 OOD 평가 지표를 사용하여 방법을 구현하고 평가한다.

실험 결과

연구 질문

• RQ1 ℓ∞ 구 위의 제약 앙상블 게임은 ERM 및 IRM보다 증명 가능하게 수렴하는 알고리즘과 더 나은 OOD 일반화 성능을 제공할 수 있는가?
• RQ2 제약선형회귀게임의 내쉬 균형은 이상적인 불변 예측자에 비해 OOD 성능 측면에서 어떻게 비교되는가?
• RQ3 완전한 불변성을 확보하지 못하더라도 앙상블 게임을 ℓ∞ 구에 투영하는 것이 비자명한 OOD 일반화를 이끌어낼 수 있는가?
• RQ4 이러한 제약 게임을 위한 학습 알고리즘이 내쉬 균형으로 수렴함을 보장하면서 강건성을 향상시킬 수 있는가?
• RQ5 혼란 변수와 반인과적 변수가 있는 설정에서 제안된 방법은 IRM, ICP, ERM와 같은 최첨단 접근법에 비해 실증적으로 어떻게 성능을 내는가?

주요 결과

• 제안된 C-LRG 방법은 F-HET, P-HET, F-HOM, P-HOM을 포함한 모든 테스트 설정에서 ERM보다 훨씬 뛰어난 OOD 일반화 성능을 달성한다.
• F-HET 설정에서 C-LRG는 750개 샘플로 오차 0.42±0.02를 기록하며, IRM(0.54±0.10)과 ERM(1.18±0.05)를 능가하고, 일부 경우에서 ICP(0.005±0.0001)에 가까운 성능을 보인다.
• P-HET 설정에서 C-LRG는 1000개 샘플로 근사적으로 영오차(0.03±0.003)를 기록하며, IRM(3.04±0.06)와 ERM(4.51±0.07)를 크게 앞서며 뛰어난 성능을 보인다.
• F-HOM 설정에서는 C-LRG가 1000개 샘플로 오차를 0.05±0.009로 줄였고, IRM의 2.88±0.06과 ERM의 4.35±0.12에 비해 강건성이 뛰어나다는 것을 보여준다.
• P-HOM 설정에서는 C-LRG가 1000개 샘플로 가장 낮은 오차(0.05±0.009)를 기록했고, IRM(3.04±0.06)와 ERM(4.35±0.12)는 높은 오차를 보이며, 이는 C-LRG의 뛰어난 OOD 일반화 능력을 확인한다.
• 모든 데이터셋과 샘플 크기에서 C-LRG는 수렴 보장과 함께 IRM 및 ERM를 일관되게 능가하며, 완전한 불변성을 확보하지 못하더라도 향상된 OOD 행동를 보인다.