[论文解读] Causal Inference by Stochastic Complexity

Kailash Budhathoki, Jilles Vreeken|arXiv (Cornell University)|Feb 22, 2017

Bayesian Modeling and Causal Inference参考文献 23被引用 4

一句话总结

本文提出一种名为 cisc 的新型因果推断方法，利用最小描述长度（MDL）原理的随机复杂度来近似柯尔莫哥洛夫复杂度，以实现因果方向识别。通过在多项分布模型类上采用极小化最大最优编码，cisc 在离散单变量数据上实现了高准确率和线性时间可扩展性，在合成数据、基准数据集和真实世界数据上均优于当前最先进方法，包括在 21 对确定的基准数据对上达到 100% 准确率。

ABSTRACT

The algorithmic Markov condition states that the most likely causal direction between two random variables X and Y can be identified as that direction with the lowest Kolmogorov complexity. Due to the halting problem, however, this notion is not computable. We hence propose to do causal inference by stochastic complexity. That is, we propose to approximate Kolmogorov complexity via the Minimum Description Length (MDL) principle, using a score that is mini-max optimal with regard to the model class under consideration. This means that even in an adversarial setting, such as when the true distribution is not in this class, we still obtain the optimal encoding for the data relative to the class. We instantiate this framework, which we call CISC, for pairs of univariate discrete variables, using the class of multinomial distributions. Experiments show that CISC is highly accurate on synthetic, benchmark, as well as real-world data, outperforming the state of the art by a margin, and scales extremely well with regard to sample and domain sizes.

研究动机与目标

• 通过提出基于信息论的可计算替代方法，解决因果推断中柯尔莫哥洛夫复杂度的不可计算性问题。
• 开发一种基于算法马尔可夫条件的因果推断框架，即使真实分布不在模型类中，也能保证极小化最大最优性。
• 针对单变量离散变量，利用多项分布实例化该框架，并证明其实际有效性。
• 在多样化数据类型（合成、基准和真实世界）上评估该方法，展示其鲁棒性和可扩展性。
• 提供开源代码和数据，以支持可复现性及进一步研究。

提出的方法

• 该方法通过 MDL 原理使用随机复杂度来近似柯尔莫哥洛夫复杂度，具体采用归一化最大似然（NML）评分，该评分对给定模型类具有极小化最大最优性。
• 对于单变量离散变量对，因果方向通过比较 P(X) + P(Y|X) 与 P(Y) + P(X|Y) 的随机复杂度来确定，选择总复杂度较低的方向。
• 通过闭式表达式高效计算多项分布的随机复杂度，实现在样本量和取值范围上的线性时间复杂度。
• NML 评分确保了相对于模型类的数据最优编码，即使真实分布不在该类中，也因其极小化最大最优性而成立。
• 该方法使用条件随机复杂度，定义为给定 X 每个取值下 Y 的随机复杂度之和，从而实现对依赖关系的局部建模。
• 该框架被实例化为 cisc（基于随机复杂度的因果推断），其代码实现可供公众使用。

实验结果

研究问题

• RQ1 随机复杂度能否为因果推断提供一种可计算且最优的柯尔莫哥洛夫复杂度替代方法？
• RQ2 NML 评分的极小化最大最优性是否能确保即使真实数据生成分布不在模型类中，也能实现稳健的因果方向识别？
• RQ3 cisc 在合成、基准和真实世界离散数据上与当前最先进方法相比表现如何？
• RQ4 cisc 在样本量和取值范围增加时是否能高效扩展，同时保持高准确率？
• RQ5 通过定性案例研究验证，cisc 在真实世界数据上是否能推断出合理的因果方向？

主要发现

• cisc 在图宾根基准数据集中最可信的 21 对数据上达到 100% 准确率，显著优于现有离散数据方法。
• 在图宾根基准数据集的全部 95 个单变量对中，cisc 总体准确率达到 67%，与当前最先进连续变量方法水平相当。
• 在包含模型外分布（如几何分布、超几何分布、泊松分布）的合成数据上，cisc 超越了当前最先进方法，展现出对模型误设的鲁棒性。
• cisc 展现出线性时间计算复杂度，能够高效扩展至更大的样本量和取值范围，适用于大规模应用。
• 在三个真实世界案例研究中，cisc 在所有情况下均正确推断出因果方向——教育和职业均正确将收入视为结果。
• 该方法的极小化最大最优性确保了即使真实分布不在多项分布模型类中，编码相对于该类仍为最优，从而支撑其鲁棒性。