[论文解读] Applications of Common Entropy for Causal Inference

Murat Kocaoglu, Sanjay Shakkottai+3 more|arXiv (Cornell University)|Jul 26, 2018

Bayesian Modeling and Causal Inference被引用 9

一句话总结

本文引入Rényi共同熵作为因果推断的工具，提出一种迭代算法，在确保观测变量条件独立的前提下最小化隐变量熵。结果表明，低熵隐共因变量可有效区分因果图与虚假相关性，并在小样本条件下提升基于约束的因果发现性能。

ABSTRACT

We study the problem of discovering the simplest latent variable that can make two observed discrete variables conditionally independent. The minimum entropy required for such a latent is known as common entropy in information theory. We extend this notion to Renyi common entropy by minimizing the Renyi entropy of the latent variable. To efficiently compute common entropy, we propose an iterative algorithm that can be used to discover the trade-off between the entropy of the latent variable and the conditional mutual information of the observed variables. We show two applications of common entropy in causal inference: First, under the assumption that there are no low-entropy mediators, it can be used to distinguish causation from spurious correlation among almost all joint distributions on simple causal graphs with two observed variables. Second, common entropy can be used to improve constraint-based methods such as PC or FCI algorithms in the small-sample regime, where these methods are known to struggle. We propose a modification to these constraint-based methods to assess if a separating set found by these algorithms is valid using common entropy. We finally evaluate our algorithms on synthetic and real data to establish their performance.

研究动机与目标

• 为解决在观测数据中利用隐变量复杂度作为判据，区分因果关系与虚假相关性的挑战。
• 开发一种高效算法以计算Rényi共同熵，最小化使两个观测变量条件独立的隐变量Z的熵。
• 通过使用共同熵验证分离集，提升基于约束的因果发现方法（如PC和FCI）在小样本条件下的鲁棒性。
• 在合成数据和真实世界数据上评估所提方法，证明其在隐变量发现方面优于梯度下降、EM和NMF。

提出的方法

• 提出Rényi共同熵作为隐变量复杂度的度量，最小化使X和Y条件独立的隐变量Z的Rényi熵。
• 开发一种迭代算法以计算共同熵，约在200次迭代内收敛，显著快于梯度下降（350,000次迭代）。
• 采用固定步长的迭代更新规则，其在速度和收敛质量方面均优于梯度下降。
• 将共同熵应用于基于约束的算法（如PC、FCI）中的分离集验证，提升小样本条件下的性能。
• 将迭代算法与EM和NMF进行比较，结果表明EM会增加隐变量熵，恶化解的质量，且无法超越初始共同熵结果；NMF亦未能实现熵与条件互信息之间的最优权衡。
• 采用一种平衡条件互信息I(X;Y|Z)与H(Z)的损失函数，并通过I-H平面监控收敛过程。

实验结果

研究问题

• RQ1 Rényi共同熵能否有效区分存在隐共因的因果图与具有直接或中介效应的因果图？
• RQ2 在二变量系统中，低熵隐共因是否能实现对因果关系与虚假相关性的可靠检测？
• RQ3 共同熵能否提升基于约束的因果发现算法在小样本设置下的性能？
• RQ4 所提出的迭代算法在收敛速度和解质量方面与梯度下降、EM和NMF相比如何？
• RQ5 在隐变量模型中，隐变量熵与条件互信息之间的根本权衡是什么？

主要发现

• 迭代算法约在200次迭代内收敛，而梯度下降需350,000次迭代，每次更新速度提升约40%。
• 迭代方法在性能上优于梯度下降，后者在较大步长下无法收敛，而在较小步长下则显著变慢。
• 将EM应用于迭代算法的输出会增加隐变量熵，恶化解的质量，且无法超越初始共同熵结果。
• 即使在约束于真实隐变量维度的情况下，NMF在熵和条件互信息方面均无法达到迭代算法的性能。
• 在$X \leftarrow Z \rightarrow Y$模型中，迭代算法发现的隐变量熵接近真实隐变量熵，优于NMF和EM。
• 在存在直接因果效应（$X \rightarrow Y$）的情况下，迭代算法仍能发现优于NMF的隐因子，实现更低的熵和更低的条件互信息。