[论文解读] An Empirical Study of Invariant Risk Minimization

Yo Joong Choe, Jiyeon Ham+1 more|arXiv (Cornell University)|Apr 10, 2020

Risk and Portfolio Optimization参考文献 14被引用 21

一句话总结

本文通过实证评估了不变风险最小化（IRMv1）框架，该框架通过学习在多个训练环境中保持不变的预测器来提升分布外（OOD）泛化能力。研究结果表明，当不同环境间差异较大时，IRMv1能有效提升OOD性能；在潜在因果关系近似不变的情况下，IRMv1可学习到近似不变的表示；此外，IRMv1在具有虚假标记-标签相关性的文本分类任务中也表现出良好泛化能力。

ABSTRACT

Invariant risk minimization (IRM) (Arjovsky et al., 2019) is a recently proposed framework designed for learning predictors that are invariant to spurious correlations across different training environments. Yet, despite its theoretical justifications, IRM has not been extensively tested across various settings. In an attempt to gain a better understanding of the framework, we empirically investigate several research questions using IRMv1, which is the first practical algorithm proposed to approximately solve IRM. By extending the ColoredMNIST experiment in different ways, we find that IRMv1 (i) performs better as the spurious correlation varies more widely between training environments, (ii) learns an approximately invariant predictor when the underlying relationship is approximately invariant, and (iii) can be extended to an analogous setting for text classification.

研究动机与目标

• 通过在多样化训练环境中实证评估IRMv1在分布外（OOD）泛化方面的有效性。
• 探究当潜在因果关系近似不变时，IRMv1是否能够学习到近似不变的预测器。
• 通过构建具有虚假标记-标签相关性的文本类ColoredMNIST模拟数据，将IRMv1扩展至自然语言处理任务。
• 在受控的虚假相关性设置下，对比IRMv1与ERM及基线模型在视觉和文本分类任务中的表现。
• 提供开源代码以支持多环境设置下IRM研究的可复现性与进一步探索。

提出的方法

• 通过在多个训练环境中调整虚假相关性程度（颜色与数字的关联）来扩展ColoredMNIST基准数据集。
• 采用IRMv1这一实用算法，通过最小化经验风险并加入梯度惩罚项来强制实现跨环境的不变性。
• IRMv1中的梯度惩罚项近似满足分类器权重在所有环境中均为最优的条件，从而促进不变性。
• 将相同框架应用于基于PunctuatedSST-2的文本分类任务，其中标点符号被用作与标签相关的虚假特征。
• 在自然语言处理任务中使用简单的词袋模型结合平均词嵌入，以隔离IRMv1惩罚项的影响。
• 进行超参数搜索，并在来自训练环境的保留数据集以及具有反向虚假相关性的OOD环境中评估模型性能。

实验结果

研究问题

• RQ1 训练环境中虚假相关性的多样性如何影响IRMv1的OOD泛化性能？
• RQ2 当数据生成过程近似不变时，IRMv1是否能够学习到近似不变的预测器？
• RQ3 IRMv1框架能否成功扩展至具有虚假标记-标签相关性的文本分类任务？
• RQ4 在视觉和文本基准测试中，IRMv1与ERM及最优基线模型相比，其OOD准确率表现如何？
• RQ5 在多环境设置下，虚假相关性的强度和方向变化对模型泛化能力有何影响？

主要发现

• 随着训练环境中虚假相关性差异的增大，IRMv1的OOD泛化性能随之提升。
• 当潜在数据生成过程近似不变时，IRMv1能学习到近似不变的预测器，表现为在不同环境中性能保持一致。
• 在PunctuatedSST-2文本分类基准上，IRMv1实现了61.4%的OOD准确率，几乎与最优模型的61.5%准确率相当。
• 由于过度依赖虚假相关性，ERM在OOD数据上的表现较差（准确率为30.4%），而IRMv1通过学习不变表示有效缓解了该问题。
• IRMv1惩罚项在视觉和文本任务中均有效降低了模型对虚假特征的依赖，证明其泛化能力不仅限于图像分类任务。
• 结果表明，IRMv1可作为提升现实世界数据集中OOD泛化能力的可行方法，尤其适用于存在多样化虚假相关性的数据。