[論文レビュー] Linear Regression Games: Convergence Guarantees to Approximate Out-of-Distribution Solutions

Kartik Ahuja, Karthikeyan Shanmugam+1 more|arXiv (Cornell University)|Oct 28, 2020

Statistical Methods and Inference参考文献 33被引用数 4

ひとこと要約

本稿では、アンサンブルゲームをℓ∞球に投影することにより、保証付き収束性と非自明な分布外一般化（OOD）を達成するための制約付き線形回帰ゲーム（C-LRG）を提案する。このゲームのナッシュ均衡が、完全な不変性を達成しなくても、標準的なERMやIRMよりも優れたOOD性能を示すことを証明し、交絡要因と反原因変数を伴う線形モデルにおいて収束保証付きの学習アルゴリズムを提供する。

ABSTRACT

Recently, invariant risk minimization (IRM) (Arjovsky et al.) was proposed as a promising solution to address out-of-distribution (OOD) generalization. In Ahuja et al., it was shown that solving for the Nash equilibria of a new class of "ensemble-games" is equivalent to solving IRM. In this work, we extend the framework in Ahuja et al. for linear regressions by projecting the ensemble-game on an $\ell_{\infty}$ ball. We show that such projections help achieve non-trivial OOD guarantees despite not achieving perfect invariance. For linear models with confounders, we prove that Nash equilibria of these games are closer to the ideal OOD solutions than the standard empirical risk minimization (ERM) and we also provide learning algorithms that provably converge to these Nash Equilibria. Empirical comparisons of the proposed approach with the state-of-the-art show consistent gains in achieving OOD solutions in several settings involving anti-causal variables and confounders.

研究の動機と目的

• 交絡要因と反原因変数を伴う線形モデルにおける、強力な分布外一般化（OOD）を達成する課題に対処すること。
• 既存のIRMおよびIRM-gameフレームワークにおけるOOD学習の収束保証の欠如を克服すること。
• 標準的な経験的リスク最小化（ERM）よりも優れたOOD性能を達成する、保証付き収束アルゴリズムの開発。
• 不変予測子探索の代替として、制約付きアンサンブルゲームにおけるナッシュ均衡を探索することによる原理的枠組みの提供。
• 因果的関係と誤った相関を伴うベンチマーク設定において、理論的保証と実験的検証を通じて、OOD一般化の向上を示すこと。

提案手法

• 解空間の正則化とOOD耐性の向上を目的として、ℓ∞球に制約を課したアンサンブルゲームの新クラスを定式化する。
• これらの制約付きゲームのナッシュ均衡が、完全な不変性を達成しなくても、ERM よりも理想的なOOD予測子に近い解をもたらすことを証明する。
• 制約付きアンサンブルゲームのナッシュ均衡に保証付きで収束する効率的な学習アルゴリズムを設計する。
• Ahujaら[2020]のIRM-gameフレームワークを、学習の安定化と一般化性能の向上のため、ℓ∞ノルム制約を導入することで拡張する。
• IRMの交差検証を2環境設定に適応させるため、訓練ドメインの検証セット手順を用いることで、公平な比較を保証する。
• 因果的、反原因的、交絡要因を伴う合成データセットを用いて、標準的なOOD評価指標で本手法を実装および評価する。

実験結果

リサーチクエスチョン

• RQ1 ℓ∞球上での制約付きアンサンブルゲームは、ERM や IRM よりも優れたOOD一般化を達成する保証付き収束アルゴリズムを提供できるか？
• RQ2 制約付き線形回帰ゲームのナッシュ均衡は、理想的な不変予測子と比較して、OOD性能でどのように差をつけるか？
• RQ3 完全な不変性を達成しなくても、アンサンブルゲームをℓ∞球に投影することで、非自明なOOD一般化が達成できるか？
• RQ4 これらの制約付きゲームのための学習アルゴリズムは、ナッシュ均衡に収束を保証しながら、耐性を向上させることができるか？
• RQ5 本手法は、交絡要因と反原因変数を伴う設定において、SOTA手法（IRM、ICP、ERM）と比較して、実験的にどのように性能を発揮するか？

主な発見

• 提案されたC-LRG手法は、F-HET、P-HET、F-HOM、P-HOMのすべてのテスト設定で、ERM よりも顕著に優れたOOD一般化性能を達成する。
• F-HET設定では、750サンプルでC-LRGは誤差0.42±0.02を達成し、IRM（0.54±0.10）とERM（1.18±0.05）を上回り、一部のケースでICP（0.005±0.0001）に近い性能を示す。
• P-HET設定では、1000サンプルでC-LRGはほぼゼロ誤差（0.03±0.003）を達成し、IRM（3.04±0.06）とERM（4.51±0.07）を著しく上回る。
• F-HOM設定では、1000サンプルでC-LRGは誤差を0.05±0.009にまで低減し、IRMの2.88±0.06とERMの4.35±0.12を大きく下回り、強い耐性を示す。
• P-HOM設定では、1000サンプルでC-LRGは誤差0.05±0.009を達成し、最も低い誤差を記録した。一方、IRM（3.04±0.06）とERM（4.35±0.12）は高い誤差を示し、OOD一般化性能の優位性が確認された。
• 本手法は、すべてのデータセットとサンプルサイズにおいて、IRM や ERM を一貫して上回り、完全な不変性を達成しなくても収束保証と改善されたOOD行動を有する。