[论文解读] Distinguishing cause from effect using observational data: methods and benchmarks

Joris M. Mooij, Jonas Peters+3 more|arXiv (Cornell University)|Dec 11, 2014

Bayesian Modeling and Causal Inference参考文献 100被引用 324

一句话总结

本文提出并评估了仅使用观测数据区分原因与结果的方法，重点关注加法噪声模型（ANM）和信息几何因果推断（IGCI）。提出了CauseEffectPairs基准数据集，包含来自37个不同领域的100个真实世界原因-结果对，表明ANM在真实数据上的准确率为63%，AUC为0.74，且该方法的理论一致性已得到证明。

ABSTRACT

The discovery of causal relationships from purely observational data is a fundamental problem in science. The most elementary form of such a causal discovery problem is to decide whether X causes Y or, alternatively, Y causes X, given joint observations of two variables X, Y. An example is to decide whether altitude causes temperature, or vice versa, given only joint measurements of both variables. Even under the simplifying assumptions of no confounding, no feedback loops, and no selection bias, such bivariate causal discovery problems are challenging. Nevertheless, several approaches for addressing those problems have been proposed in recent years. We review two families of such methods: Additive Noise Methods (ANM) and Information Geometric Causal Inference (IGCI). We present the benchmark CauseEffectPairs that consists of data for 100 different cause-effect pairs selected from 37 datasets from various domains (e.g., meteorology, biology, medicine, engineering, economy, etc.) and motivate our decisions regarding the "ground truth" causal directions of all pairs. We evaluate the performance of several bivariate causal discovery methods on these real-world benchmark data and in addition on artificially simulated data. Our empirical results on real-world data indicate that certain methods are indeed able to distinguish cause from effect using only purely observational data, although more benchmark data would be needed to obtain statistically significant conclusions. One of the best performing methods overall is the additive-noise method originally proposed by Hoyer et al. (2009), which obtains an accuracy of 63+-10 % and an AUC of 0.74+-0.05 on the real-world benchmark. As the main theoretical contribution of this work we prove the consistency of that method.

研究动机与目标

• 解决在二元情况下仅从观测数据中推断因果方向的根本挑战。
• 开发并评估无需实验干预或额外观测变量即可区分原因与结果的方法。
• 创建一个标准化基准，用于评估真实世界数据中二元因果发现方法的性能。
• 在现实假设下，评估ANM和IGCI方法在真实数据和模拟数据上的经验性能。
• 为加法噪声模型方法在因果发现中的应用提供理论一致性保证。

提出的方法

• 提出加法噪声模型（ANM）作为推断因果方向的方法，通过检验数据是否可建模为Y = f(X) + N，其中N与X独立。
• 应用信息几何因果推断（IGCI），利用信息几何中的不对称性，特别是误差项与原因的独立性。
• 在ANM框架中使用高斯过程回归对函数f进行非参数估计。
• 使用熵估计器（包括间距估计器和ent-PSD）计算IGCI中的信息论度量。
• 实施一个名为CauseEffectPairs的基准数据集，包含来自37个真实世界领域的100个原因-结果对，并由人工精心标注真实标签。
• 在真实世界数据和人工模拟数据上评估方法，使用准确率和AUC等指标。

实验结果

研究问题

• RQ1 当仅观测到两个变量时，能否从观测数据中可靠地推断因果方向？
• RQ2 ANM和IGCI方法在真实世界数据上的表现与在模拟数据上的表现相比如何？
• RQ3 ANM和IGCI在新提出的CauseEffectPairs基准上的经验性能如何？
• RQ4 在框架假设下，加法噪声模型方法是否具有理论一致性？
• RQ5 不同的熵估计器和实现选择如何影响IGCI和ANM的性能与计算时间？

主要发现

• 加法噪声模型（ANM）方法在真实世界CauseEffectPairs基准上实现了63%的准确率和0.74的AUC，表明其能够成功从观测数据中推断因果方向。
• IGCI方法显著快于ANM方法，快约两个数量级，原因在于IGCI中无需非参数回归。
• ANM-MML变体明显更慢，原因在于边际分布的MML估计计算量极大。
• ent-PSD熵估计器在IGCI实现中速度最慢，但却是唯一对数据扰动表现出鲁棒性的方法。
• 不同方法的计算时间存在差异，其中高斯过程回归是ANM实现中的主要性能瓶颈。
• 在模型假设下，ANM方法的理论一致性已得到证明，为其在因果发现中的应用提供了坚实基础。