[论文解读] Inferring latent structures via information inequalities

Rafael Chaves, Lukas Luft+4 more|arXiv (Cornell University)|Jul 8, 2014

Bayesian Modeling and Causal Inference参考文献 30被引用 20

一句话总结

本文提出了一种基于信息论的框架，通过从贝叶斯网络推导出的熵不等式，推断潜在的因果结构。通过将条件独立性和因果约束转化为观测变量熵上的线性不等式，该方法能够利用线性规划高效地算法化测试因果模型——尤其适用于隐性共同原因和因果方向的检验，为代数方法提供了一种可扩展的替代方案。

ABSTRACT

One of the goals of probabilistic inference is to decide whether an empirically observed distribution is compatible with a candidate Bayesian network. However, Bayesian networks with hidden variables give rise to highly non-trivial constraints on the observed distribution. Here, we propose an information-theoretic approach, based on the insight that conditions on entropies of Bayesian networks take the form of simple linear inequalities. We describe an algorithm for deriving entropic tests for latent structures. The well-known conditional independence tests appear as a special case. While the approach applies for generic Bayesian networks, we presently adopt the causal view, and show the versatility of the framework by treating several relevant problems from that domain: detecting common ancestors, quantifying the strength of causal influence, and inferring the direction of causation from two-variable marginals.

研究动机与目标

• 为解决表征与包含潜变量（隐藏变量）的贝叶斯网络相容的边缘分布的挑战，这些变量施加了复杂且非平凡的约束。
• 开发一种系统化、算法化的熵约束推导方法，以测试观测数据与候选因果模型的相容性。
• 展示该框架在检测共同原因、推断因果方向以及从有限的观测数据中量化因果影响方面的实用性。
• 通过利用熵不等式的线性特性，为因果结构学习提供一种可扩展的代数方法替代方案。

提出的方法

• 该方法将贝叶斯网络中的条件独立性和因果约束映射为观测变量子集熵上的线性不等式。
• 利用熵的多素体公理确保数学一致性，并支持使用线性规划进行约束推导与检验。
• 该框架将熵空间视为一个凸多面体，允许通过计算工具自动推导熵不等式。
• 该方法适用于一般贝叶斯网络，但特别适用于存在隐性共同原因或潜在混杂因子的因果模型。
• 该方法可提供因果影响的定量边界，并对不等式违反提供可操作的解释。
• 通过经验熵估计和蒙特卡洛模拟构建统计检验，以确定假设检验的临界值。

实验结果

研究问题

• RQ1 能否利用从贝叶斯网络推导出的熵不等式来检测观测数据中隐性共同原因的存在？
• RQ2 少数变量的边缘熵在多大程度上能揭示涉及更大变量集合的条件独立关系？
• RQ3 在缺乏实验数据的情况下，熵约束能否区分直接因果与共同原因解释？
• RQ4 如何利用基于熵的不等式对因果影响的强度进行定量边界界定？
• RQ5 熵检验能否作为具有已知错误率的实际统计假设检验来实现？

主要发现

• 该框架成功推导出可拒绝与观测数据不相容模型的熵不等式，例如在观察到完美相关性且因果强度受约束时，可排除直接因果关系。
• 对于图4(b)中的三变量模型，该方法识别出一个可测试的不等式（不等式8），可在忠实性假设下检测因果结构的违反。
• 在50个i.i.d.样本的蒙特卡洛模拟中，5%显著性水平下的检验阈值为t = 0.0578，对因果模型偏离具有高统计功效。
• 该框架为因果影响提供了定量下限边界，违反该边界表明应拒绝直接因果关系，转而支持共同原因结构。
• 在已知因果强度先验边界的情况下，该方法无需实验数据即可区分直接因果与共同原因结构。
• 该方法对随机变量结果数的多少具有鲁棒性，并通过聚焦于熵的线性特性，避免了代数方法的复杂性。