[论文解读] Bayesian Discovery of Linear Acyclic Causal Models

Patrik O. Hoyer, Antti Hyttinen|arXiv (Cornell University)|May 9, 2012

Bayesian Modeling and Causal Inference参考文献 12被引用 21

一句话总结

本文提出了一种基于贝叶斯评分的非高斯观测数据线性无环因果模型发现方法，利用非高斯性提升因果结构学习效果，超越传统基于约束或评分的方法。该方法提供了完整的R实现，并在小型网络上展示了其性能与现有方法相当或更优，同时通过后验评分量化不确定性。

ABSTRACT

Methods for automated discovery of causal relationships from non-interventional data have received much attention recently. A widely used and well understood model family is given by linear acyclic causal models (recursive structural equation models). For Gaussian data both constraint-based methods (Spirtes et al., 1993; Pearl, 2000) (which output a single equivalence class) and Bayesian score-based methods (Geiger and Heckerman, 1994) (which assign relative scores to the equivalence classes) are available. On the contrary, all current methods able to utilize non-Gaussianity in the data (Shimizu et al., 2006; Hoyer et al., 2008) always return only a single graph or a single equivalence class, and so are fundamentally unable to express the degree of certainty attached to that output. In this paper we develop a Bayesian score-based approach able to take advantage of non-Gaussianity when estimating linear acyclic causal models, and we empirically demonstrate that, at least on very modest size networks, its accuracy is as good as or better than existing methods. We provide a complete code package (in R) which implements all algorithms and performs all of the analysis provided in the paper, and hope that this will further the application of these methods to solving causal inference problems.

研究动机与目标

• 解决现有因果发现方法在使用非高斯数据时无法表达输出不确定性的局限性。
• 开发一种基于贝叶斯评分的方法，利用线性无环结构方程模型中的非高斯性。
• 实现对学习到的因果结构置信度的量化，超越单一图输出的局限。
• 提供一种实用、开源的R实现，以支持可重现且可扩展的因果推断。
• 在小型至中等规模网络上，通过实证验证该方法相对于现有最先进方法的性能。

提出的方法

• 该方法采用贝叶斯评分框架，基于观测到的非高斯数据，为不同的因果图结构分配后验概率。
• 通过使用具有非高斯误差项的线性无环结构方程模型来建模数据，利用非高斯性带来的可识别性特性。
• 通过参数的边际似然积分计算评分，同时考虑模型复杂度与数据拟合度。
• 采用马尔可夫链蒙特卡洛（MCMC）或其他随机搜索技术，探索可能的因果图空间。
• 图结构上的后验分布允许不确定性量化，后验得分越高，表示结构越合理。
• 该方法在R中实现，包含用于结构学习、模型评分和真实与合成数据集后验推断的工具。

实验结果

研究问题

• RQ1 基于贝叶斯评分的方法能否有效利用非高斯性，以改进线性无环模型中的因果结构发现？
• RQ2 在小型网络上，该方法与现有基于约束和基于评分的方法相比，准确率如何？
• RQ3 与仅输出单一图的现有非高斯方法相比，该方法在多大程度上能够量化因果结构学习中的不确定性？
• RQ4 该方法在实际应用中对中等规模网络是否具备鲁棒性和可扩展性？
• RQ5 该方法能否通过完整的开源R包实现并有效应用？

主要发现

• 该贝叶斯方法在小型至中等规模网络上的准确率与现有最先进方法相当或更优。
• 该方法通过为不同图结构分配后验评分，成功量化了因果结构发现中的不确定性，而以往的非高斯方法仅返回单一图。
• 误差项中使用非高斯性能够识别在高斯假设下存在歧义的因果顺序。
• 在合成数据上的实证评估表明，该方法能以高后验概率可靠地恢复真实潜在因果结构。
• 提供了完整的R包实现，支持方法的可重现性，并促进其在现实世界因果推断任务中的广泛应用。
• 结果表明，结合非高斯性的贝叶斯评分提供了一种系统且有效的线性无环因果发现替代方案。