[论文解读] Estimating Causal Direction and Confounding of Two Discrete Variables

Krzysztof Chalupka, Frederick Eberhardt+1 more|arXiv (Cornell University)|Nov 4, 2016

Bayesian Modeling and Causal Inference参考文献 10被引用 5

一句话总结

本文提出一种神经网络分类器，仅通过两个离散变量的联合概率分布，即可推断其因果方向与混淆结构。通过假设原因分布与因果机制之间统计独立，该方法在变量基数增大时表现出高准确率，表明在这些假设下，因果结构在实际中可被识别。

ABSTRACT

We propose a method to classify the causal relationship between two discrete variables given only the joint distribution of the variables, acknowledging that the method is subject to an inherent baseline error. We assume that the causal system is acyclicity, but we do allow for hidden common causes. Our algorithm presupposes that the probability distributions $P(C)$ of a cause $C$ is independent from the probability distribution $P(E\mid C)$ of the cause-effect mechanism. While our classifier is trained with a Bayesian assumption of flat hyperpriors, we do not make this assumption about our test data. This work connects to recent developments on the identifiability of causal models over continuous variables under the assumption of "independent mechanisms". Carefully-commented Python notebooks that reproduce all our experiments are available online at http://vision.caltech.edu/~kchalupk/code.html.

研究动机与目标

• 开发一种仅使用观测数据识别两个离散变量之间因果方向与混淆结构的方法。
• 解决在无实验干预下，两变量因果系统的基本不可识别性问题。
• 探究在最小假设下，是否可仅从联合分布中推断因果结构。
• 评估在贝叶斯框架下使用平坦超先验训练的神经网络分类器在类似真实世界分布上的性能。
• 探索尽管存在固有不可识别性，因果推断在何种条件下可实现实际可识别。

提出的方法

• 该方法使用神经网络，基于输入的联合概率表 $P(X,Y)$ 对因果结构进行分类，将其映射到六种可能的无环因果模型之一。
• 假设原因分布 $P(C)$ 与机制 $P(E|C)$ 之间相互独立，该原则受连续变量因果推断中‘独立机制’假设的启发。
• 分类器在贝叶斯框架下训练，对 $P(C)$ 和 $P(E|C)$ 均采用平坦的狄利克雷超先验，但测试数据无需满足此假设。
• 实验使用精心构建的合成数据集，其变量基数各不相同，以评估不同因果结构下的分类性能。
• 通过混淆矩阵与多轮试验中的错误率评估性能，同时分析方差及在非均匀超先验下的鲁棒性。
• 该方法利用了随着基数增加，假设模型下的似然值会急剧变尖峰，从而使一种因果结构占主导地位的特性。

实验结果

研究问题

• RQ1 是否可仅从两个离散变量的联合分布中，可靠地推断其因果方向与混淆结构，而无需干预？
• RQ2 在原因与机制分布相互独立的假设下，因果结构分类性能如何随变量基数变化？
• RQ3 尽管训练时使用平坦先验，当超先验非均匀时，分类器性能下降程度如何？
• RQ4 在何种条件下，该问题虽在根本上不可识别，但可实现实际可识别？
• RQ5 $P(C)$ 与 $P(E|C)$ 之间的独立性假设是否能实现离散系统中可靠的因果推断？该方法对这一假设的违反有多鲁棒？

主要发现

• 对于基数为2的变量，分类器错误率为25.7%；当基数增至10时，错误率降至0.85%（10,000个测试样本中仅85个出错）。
• 随着变量基数增加，假设模型下的似然值变得极为尖锐，使一种因果结构占据绝对主导地位，从而使问题在实际中可被识别。
• 在非均匀超先验下性能保持稳定，尽管性能方差有所增加，表明该方法对先验误设具有平均意义上的鲁棒性。
• 神经网络在所有情况下均正确识别出独立变量，并能区分直接因果方向与混淆情形，但在基数较低时偶尔会混淆 $X\rightarrow Y$ 与 $Y\rightarrow X$。
• 该方法表明，在基数较高时，仅在‘原因分布与机制独立’这一最小假设下，因果推断是可行的。
• 结果证实，尽管因根本不可识别性存在非零错误，该分类器在高基数场景下仍能提供有用且可靠的推断。