[论文解读] Does Invariant Risk Minimization Capture Invariance?

Pritish Kamath, Akilesh Tangella+2 more|arXiv (Cornell University)|Jan 4, 2021

Bayesian Modeling and Causal Inference参考文献 8被引用 23

一句话总结

本文表明，即使在具有无限数据的简单理想化设置中，不变风险最小化（IRMv1）的线性变体也可能无法捕捉到真正的不变性，导致其在分布外泛化性能上反而劣于标准的经验风险最小化（ERM）。作者揭示了理论IRM公式与实际实现之间的根本性差距，表明IRMv1可能因损失函数的非不变性以及采样不稳定性而收敛到次优预测器。

ABSTRACT

We show that the Invariant Risk Minimization (IRM) formulation of Arjovsky et al. (2019) can fail to capture "natural" invariances, at least when used in its practical "linear" form, and even on very simple problems which directly follow the motivating examples for IRM. This can lead to worse generalization on new environments, even when compared to unconstrained ERM. The issue stems from a significant gap between the linear variant (as in their concrete method IRMv1) and the full non-linear IRM formulation. Additionally, even when capturing the "right" invariances, we show that it is possible for IRM to learn a sub-optimal predictor, due to the loss function not being invariant across environments. The issues arise even when measuring invariance on the population distributions, but are exacerbated by the fact that IRM is extremely fragile to sampling.

研究动机与目标

• 探究线性形式的不变风险最小化（IRMv1）在数据分布中是否能可靠地捕捉真正的不变性。
• 分析尽管IRMv1旨在提升分布外鲁棒性，为何其泛化性能可能反而劣于无约束的ERM。
• 考察损失在不同环境间是否保持不变，对预测器质量的影响，即使条件分布的不变性已满足。
• 研究从少量训练环境学习到的不变预测器在何种条件下可泛化至更广泛的目标环境。
• 评估有限样本估计对IRM性能的影响，特别是其对数据采样噪声的脆弱性。

提出的方法

• 将IRM框架形式化为一个双层优化问题，旨在寻找一个表征φ和一个预测器w，使得w ∘ φ在所有环境中均达到最优。
• 引入一个简化的二值输入空间X = {0,1}²以抽象化彩色MNIST问题，从而能够对不变性和泛化性进行解析研究。
• 将总体层面的IRM解（IRM_S）与实际的IRMv1算法进行比较，后者将w限制为线性预测器。
• 分析IRMv1在λ（正则化强度）增大和样本量n增加时的行为，揭示有限样本行为与总体行为之间的偏差。
• 提出一种ε松弛版本的IRM，以允许近似最优性约束，为更鲁棒的实证实现提供潜在路径。
• 利用具有受控虚假相关性的合成环境，展示IRMv1在某些情况下会选择在分布外数据上表现劣于ERM的预测器。

实验结果

研究问题

• RQ1 当在无限多个环境上训练并完全掌握总体分布知识时，IRMv1是否仍可能无法学习到真正不变的预测器？
• RQ2 为何IRM有时会选择一个在分布外泛化性能更差的不变预测器，尽管其满足条件不变性？
• RQ3 损失函数在不同环境间缺乏不变性，对所学预测器质量的影响程度如何？
• RQ4 在对环境集合E_tr施加何种结构假设时，不变预测器才能泛化至更广泛的目标环境？
• RQ5 有限样本估计如何影响IRM与IRMv1的稳定性与性能，特别是在存在采样噪声的情况下？

主要发现

• 即使在无限训练环境和完全掌握总体分布知识的条件下，IRMv1仍可能因对预测器施加线性约束而无法学习到真正不变的预测器。
• 在某些情况下，IRMv1学习到的预测器在分布外环境上的泛化性能甚至劣于无约束的ERM，这与IRM的核心动机相悖。
• 即使条件分布P(Y|φ(X))在不同环境中保持不变，损失L(w∘φ)也可能不保持不变，导致IRM偏好次优预测器。
• IRMv1对采样噪声极为敏感：训练环境中微小的扰动即可导致IRMv1收敛到平凡的0-预测器，即使总体解是非平凡的。
• 理论IRM公式与IRMv1之间的差距显著；除非正则化强度λ随样本量以适当速率增加，否则IRMv1不会收敛到总体IRM_S解。
• 提出了一种ε松弛版本的IRM，作为迈向更鲁棒实证算法的潜在路径，但其实际实现仍是开放挑战。