[论文解读] Linear unit-tests for invariance discovery

Benjamin Aubin, Agnieszka Słowik+3 more|arXiv (Cornell University)|Feb 22, 2021

Domain Adaptation and Few-Shot Learning参考文献 16被引用 13

一句话总结

本文提出了一套标准化的六个线性、低维单位测试，用于评估机器学习中的分布外泛化能力。通过在多个环境中模拟不变相关性和虚假相关性，测试揭示了即使最先进的因果算法（如 IRMv1 和 ANDMask）也未能一致地学习到不变预测器，凸显了当前方法在因果理论基础上仍存在关键缺陷。

ABSTRACT

There is an increasing interest in algorithms to learn invariant correlations across training environments. A big share of the current proposals find theoretical support in the causality literature but, how useful are they in practice? The purpose of this note is to propose six linear low-dimensional problems -- unit tests -- to evaluate different types of out-of-distribution generalization in a precise manner. Following initial experiments, none of the three recently proposed alternatives passes all tests. By providing the code to automatically replicate all the results in this manuscript (https://www.github.com/facebookresearch/InvarianceUnitTests), we hope that our unit tests become a standard steppingstone for researchers in out-of-distribution generalization.

研究动机与目标

• 评估因果机器学习算法在多样化训练环境中学习不变预测器的实际有效性。
• 识别现有分布外泛化方法的不足之处，尽管其在因果理论上具有坚实基础。
• 通过使用合成线性问题提供一个标准化、可复现的基准，以测试和比较新算法。
• 证明经验风险最小化和当前因果算法在存在虚假相关性时往往无法泛化。
• 通过公开所有实验的开源代码，促进透明度和可复现性。

提出的方法

• 作者设计了六个具有受控不变（inv）和虚假（spu）特征的合成线性问题，每个问题由带有环境特定干预的结构方程定义。
• 数据在多个环境（默认 n_env = 3）中生成，其中不变特征影响目标变量，而虚假特征则与目标变量条件相关。
• 通过在样本间随机打乱虚假特征来创建测试集，以打破虚假相关性，模拟分布外分布偏移。
• 在包含虚假相关性的数据上训练算法后，通过与仅使用不变特征的 Oracle 模型对比，评估其在测试集上的误差表现。
• 通过改变环境数量（n_env）和虚假特征维度（d_spu）来研究其对泛化性能的影响。
• 所有结果均可通过公开的 GitHub 仓库（https://www.github.com/facebookresearch/InvarianceUnitTests）复现。

实验结果

研究问题

• RQ1 当前因果学习算法能否在具有明显虚假相关性的低维线性问题中可靠地发现不变预测器？
• RQ2 环境数量如何影响算法在分布外情况下的泛化能力？
• RQ3 当虚假特征数量相对于不变特征增加时，算法表现如何？
• RQ4 为何某些算法（如 IRMv1 和 ANDMask）在某些问题上表现良好，而在其他问题上失败，尽管其理论上具有保证？
• RQ5 是否可以通过一个标准化、最小化的基准暴露最先进分布外泛化方法的根本缺陷？

主要发现

• 没有任何算法在六个单位测试中的任何一个上达到接近 Oracle 的性能，表明在简单线性设置下广泛存在无法学习不变相关性的失败。
• IRMv1 和 ANDMask 仅在 Example1 和 Example1s 中表现良好，此时不变机制是线性可分的，但在 Example2 和 Example3 中失败。
• 在 Example2 和 Example2s 中，虚假特征与目标完全对齐，此时 ERM 的表现优于 IRMv1 和 ANDMask，表明基于不变性的方法可能被误导。
• IGA 在 Example1 和 Example1s 上的表现与 ERM 相当，且在添加虚假特征后（即使仅一个）完全崩溃。
• ANDMask 在 Example3s（虚假特征被扰乱）中失败，而 IRMv1 保持性能，表明在某些情况下对特征打乱具有鲁棒性。
• 当虚假特征维度增加时，尤其在 n_env 固定时，性能在 Example3 和 Example3s 上显著下降，显示出对特征比例的高度敏感性。