[论文解读] Learning Causal Structures Using Regression Invariance

AmirEmad Ghassami, Saber Salehkaleybar+2 more|arXiv (Cornell University)|May 26, 2017

Bayesian Modeling and Causal Inference参考文献 23被引用 13

一句话总结

该论文提出了一种新方法 LRE（学习回归不变性），用于在仅外生噪声分布随环境变化的多环境数据中，识别线性高斯结构方程模型中的因果结构。通过利用从原因到结果的回归系数在不同环境中的不变性，LRE 即使在标准条件独立性或基于干预的方法失效时，也能区分因果方向，在实验中实现了比 PC 和 IP 算法更高的准确率和更低的无向边比例。

ABSTRACT

We study causal inference in a multi-environment setting, in which the functional relations for producing the variables from their direct causes remain the same across environments, while the distribution of exogenous noises may vary. We introduce the idea of using the invariance of the functional relations of the variables to their causes across a set of environments. We define a notion of completeness for a causal inference algorithm in this setting and prove the existence of such algorithm by proposing the baseline algorithm. Additionally, we present an alternate algorithm that has significantly improved computational and sample complexity compared to the baseline algorithm. The experiment results show that the proposed algorithm outperforms the other existing algorithms.

研究动机与目标

• 解决在标准观测方法因马尔可夫等价性和高斯噪声而失效的线性高斯模型中的因果结构识别挑战。
• 开发一种利用不同环境中外生噪声分布变化来推断因果方向的方法，而无需受控干预。
• 提出一种在多环境不变性假设下实现因果发现完备性的算法。
• 与基线方法相比，降低计算和样本复杂度，同时保持高准确率。

提出的方法

• 该方法通过在多个环境中测试每个变量到其他每个变量的回归系数的不变性来识别因果结构。
• 采用两阶段算法：第一阶段使用条件独立性检验（如 PC 算法）恢复骨架；第二阶段通过回归不变性检验来定向边。
• 对于每对环境，对变量 Y 对 X 的回归系数是否在环境中保持不变进行假设检验。
• 每个检验的原假设为回归系数保持不变；拒绝原假设表明 X 是 Y 的原因。
• 该算法使用显著性水平 α 控制错误率，确保输出结果以高概率正确。
• 优化版本通过避免第一阶段进行完整的条件独立性检验，降低了计算复杂度。

实验结果

研究问题

• RQ1 当标准条件独立性检验因马尔可夫等价性而失效时，能否在线性高斯模型中识别因果方向？
• RQ2 能否利用环境中外生噪声分布的变化来推断因果结构，而无需受控干预？
• RQ3 能否设计一种计算高效的算法，在不变性假设下实现因果发现的完备性？
• RQ4 所提出方法在准确率和鲁棒性方面与现有方法（如 PC、IP 和 LiNGAM）相比如何？

主要发现

• 当仅在一个变量的外生噪声在两个环境中被扰动时，LRE 算法相比 PC 算法将无向边（UD）比例降低了 8%。
• LRE 的错误率显著低于 LiNGAM，后者错误率约为其两倍。
• 不变预测（IP）方法的错误率随扰动变量数量的增加而上升，因为 IP 方法假设目标变量的噪声分布保持不变。
• 在合成数据上，LRE 算法在错误率和有向边恢复方面均优于 PC 和 IP 算法。
• 在真实教育成就数据上，LRE 正确识别出基年综合考试成绩和父亲的大学教育是教育成就的重要原因，与 IP 方法结果一致。