[论文解读] Linear Regression Games: Convergence Guarantees to Approximate Out-of-Distribution Solutions

Kartik Ahuja, Karthikeyan Shanmugam+1 more|arXiv (Cornell University)|Oct 28, 2020

Statistical Methods and Inference参考文献 33被引用 4

一句话总结

本文通过将集成博弈投影到 ℓ∞ 球上，提出了约束线性回归博弈（C-LRG），以实现可证明收敛的、非平凡的分布外（OOD）泛化。证明了这些博弈的纳什均衡在未实现完美不变性的情况下，其 OOD 性能仍优于标准 ERM 和 IRM，并为具有混淆变量和反因果变量的线性模型提供了具有收敛保证的学习算法。

ABSTRACT

Recently, invariant risk minimization (IRM) (Arjovsky et al.) was proposed as a promising solution to address out-of-distribution (OOD) generalization. In Ahuja et al., it was shown that solving for the Nash equilibria of a new class of "ensemble-games" is equivalent to solving IRM. In this work, we extend the framework in Ahuja et al. for linear regressions by projecting the ensemble-game on an $\ell_{\infty}$ ball. We show that such projections help achieve non-trivial OOD guarantees despite not achieving perfect invariance. For linear models with confounders, we prove that Nash equilibria of these games are closer to the ideal OOD solutions than the standard empirical risk minimization (ERM) and we also provide learning algorithms that provably converge to these Nash Equilibria. Empirical comparisons of the proposed approach with the state-of-the-art show consistent gains in achieving OOD solutions in several settings involving anti-causal variables and confounders.

研究动机与目标

• 解决在具有混淆变量和反因果变量的线性模型中实现稳健分布外（OOD）泛化的挑战。
• 克服现有 IRM 和 IRM-game 框架在 OOD 学习中缺乏收敛保证的问题。
• 开发一种可证明收敛的算法，其 OOD 性能优于标准经验风险最小化（ERM）。
• 通过探索约束集成博弈中的纳什均衡，为不变预测器搜索提供一种有原则的替代方案。
• 通过理论保证和在具有虚假相关性的基准设置上的实证验证，展示改进的 OOD 泛化性能。

提出的方法

• 提出一类受限于 ℓ∞ 球的新式集成博弈，以正则化解空间并提升 OOD 鲁棒性。
• 证明这些约束博弈的纳什均衡所得到的解，即使未实现完美不变性，也比 ERM 更接近理想的 OOD 预测器。
• 设计可证明收敛至约束集成博弈纳什均衡的高效学习算法。
• 通过引入 ℓ∞-范数约束，将 [Ahuja et al., 2020] 的 IRM-game 框架扩展至更稳定的学习和更优的泛化性能。
• 采用训练域验证集程序，将 IRM 的交叉验证方法适配至双环境设置，确保公平比较。
• 在包含因果、反因果和混淆变量的合成数据集上实现并评估该方法，使用标准 OOD 评估指标。

实验结果

研究问题

• RQ1 在 ℓ∞ 球上进行的约束集成博弈能否提供可证明收敛的算法，并在 OOD 泛化性能上优于 ERM 和 IRM？
• RQ2 约束线性回归博弈的纳什均衡在 OOD 性能方面与理想不变预测器相比如何？
• RQ3 即使未实现完美不变性，将集成博弈投影到 ℓ∞ 球上是否仍能实现非平凡的 OOD 泛化？
• RQ4 这些约束博弈的学习算法能否保证收敛至纳什均衡，同时提升鲁棒性？
• RQ5 在具有混淆变量和反因果变量的设置下，该方法在实证上相较于 SOTA 方法（如 IRM、ICP 和 ERM）表现如何？

主要发现

• 所提出的 C-LRG 方法在所有测试设置（包括 F-HET、P-HET、F-HOM 和 P-HOM）中，其 OOD 泛化性能显著优于 ERM。
• 在 F-HET 设置中，C-LRG 在 750 个样本下误差为 0.42±0.02，优于 IRM（0.54±0.10）和 ERM（1.18±0.05），在某些情况下接近 ICP（0.005±0.0001）的性能。
• 在 P-HET 设置中，C-LRG 在 1000 个样本下实现接近零的误差（0.03±0.003），显著优于 IRM（3.04±0.06）和 ERM（4.51±0.07）。
• 在 F-HOM 设置中，C-LRG 将误差降低至 0.05±0.009（1000 个样本），而 IRM 为 2.88±0.06，ERM 为 4.35±0.12，展现出强大的鲁棒性。
• 在 P-HOM 设置中，C-LRG 在 1000 个样本下取得最低误差（0.05±0.009），而 IRM 和 ERM 的误差分别为 3.04±0.06 和 4.35±0.12，证实了其优越的 OOD 泛化能力。
• 该方法在所有数据集和样本规模下均持续优于 IRM 和 ERM，具有收敛保证，并在未实现完美不变性的情况下仍表现出改进的 OOD 行为。