[论文解读] Causal Discovery with Continuous Additive Noise Models

Jonas Peters, Joris M. Mooij+2 more|UvA-DARE (University of Amsterdam)|Sep 26, 2013

Bayesian Modeling and Causal Inference参考文献 59被引用 154

一句话总结

本文提出了一种基于加法噪声模型（ANM）的连续变量因果发现方法，表明在温和条件下，仅从观测数据即可识别出真实的因果DAG——这与仅能恢复马尔可夫等价类的基于忠实性假设的方法不同。主要贡献在于在ANM假设下，理论证明了因果图的可识别性，并提出了RESIT和基于独立性评分的实用算法，适用于有限样本。

ABSTRACT

We consider the problem of learning causal directed acyclic graphs from an observational joint distribution. One can use these graphs to predict the outcome of interventional experiments, from which data are often not available. We show that if the observational distribution follows a structural equation model with an additive noise structure, the directed acyclic graph becomes identifiable from the distribution under mild conditions. This constitutes an interesting alternative to traditional methods that assume faithfulness and identify only the Markov equivalence class of the graph, thus leaving some edges undirected. We provide practical algorithms for finitely many samples, RESIT (Regression with Subsequent Independence Test) and two methods based on an independence score. We prove that RESIT is correct in the population setting and provide an empirical evaluation.

研究动机与目标

• 为解决基于忠实性假设的因果发现方法的局限性，后者仅能识别马尔可夫等价类，且无法确定边的方向。
• 建立在何种条件下，真实的因果有向无环图（DAG）可从联合观测分布中识别。
• 在加法噪声模型框架下，为从有限独立同分布样本中设计实用的因果发现算法。
• 证明在非线性及非高斯噪声条件下，变量间的因果方向在一般情况下是可识别的。
• 将理论结果扩展至因果最小性可能不成立的情形，确保在真实世界数据设置下的鲁棒性。

提出的方法

• 使用带有加法噪声的结构方程模型（ANM），其中每个变量是其父节点的非参数函数加上独立噪声。
• 应用RESIT（回归后独立性检验）算法：对每个变量在其潜在父节点上进行回归，并检验残差的独立性。
• 采用基于独立性评分的方法，通过评估残差与父变量之间的统计独立性来对潜在DAG进行评分。
• 利用如下事实：若X → Y，则Y = f(X) + N，其中N与X独立，但反向方向（X作为Y的函数）通常无法满足相同的独立性条件，除非f为线性函数。
• 在理论分析中使用独立性预言机，以在理想条件下验证算法的正确性。
• 通过迭代移除残差独立的节点来恢复拓扑排序，确保在因果最小性与非线性条件下结果的正确性。

实验结果

研究问题

• RQ1 在不假设忠实性的情况下，何时可从联合观测分布中识别出真实的因果DAG？
• RQ2 当结构函数为非参数且非线性时，加法噪声模型能否唯一确定两个变量间的因果方向？
• RQ3 如何在ANM框架下，为从有限独立同分布样本中设计实用的因果发现算法？
• RQ4 当因果最小性假设被放宽时，可识别性会发生什么变化？
• RQ5 即使最小图假设被放弃，能否保证正确恢复变量的拓扑排序？

主要发现

• 在加法噪声模型下，若结构函数为非线性且噪声为非高斯分布，则真实的因果DAG可从联合分布中一般性地识别。
• RESIT在总体设定下是可证明正确的，因为它通过回归后检验残差独立性，能正确识别因果图。
• 本文证明：若变量Y是非线性函数f(X)与噪声N的和，且N与X独立，则除非f为线性函数，否则反向方向（X作为Y的函数）无法满足相同的独立性条件。
• 提出了一项新颖的可识别性结果，适用于非线性函数与高斯噪声的情形（推论30），表明此类模型在一般情况下是可识别的。
• 理论分析证实，当给定独立性预言机时，Mooij等人（2009）提出的算法是正确的，从而解决了文献中的一项猜想。
• 在ANM假设下，最小图$σ_{0}^{min}$是唯一的，且任何满足ANM约束的图必为该最小结构的子图。