[论文解读] Information-theoretic inference of common ancestors

Bastian Steudel, Nihat Ay|arXiv (Cornell University)|Oct 27, 2010

Bayesian Modeling and Causal Inference参考文献 14被引用 9

一句话总结

本文提出了一种信息论不等式，该不等式从变量间观测到的依赖关系推断有向无环图（DAG）中共同祖先的存在，将莱希恩鲍赫的共同原因原理扩展至多变量情形。核心结果表明，观测变量间互信息水平越高，任何建模更大未观测系统的DAG中均存在共同祖先，该结论对概率性和算法性信息度量均成立。

ABSTRACT

A directed acyclic graph (DAG) partially represents the conditional independence structure among observations of a system if the local Markov condition holds, that is, if every variable is independent of its non-descendants given its parents. In general, there is a whole class of DAGs that represents a given set of conditional independence relations. We are interested in properties of this class that can be derived from observations of a subsystem only. To this end, we prove an information theoretic inequality that allows for the inference of common ancestors of observed parts in any DAG representing some unknown larger system. More explicitly, we show that a large amount of dependence in terms of mutual information among the observations implies the existence of a common ancestor that distributes this information. Within the causal interpretation of DAGs our result can be seen as a quantitative extension of Reichenbach's Principle of Common Cause to more than two variables. Our conclusions are valid also for non-probabilistic observations such as binary strings, since we state the proof for an axiomatized notion of mutual information that includes the stochastic as well as the algorithmic version.

研究动机与目标

• 从子系统的部分观测中推断未观测更大系统的结构性质——特别是共同祖先的存在性。
• 将仅适用于两个依赖变量的莱希恩鲍赫共同原因原理，通过信息论度量推广至多变量情形。
• 基于互信息建立检测共同祖先的定量准则，即使无法进行干预也适用。
• 通过采用公理化的互信息概念，确保结果在随机与非随机观测（如二进制字符串）下均成立。
• 提供一种方法，通过依赖程度的差异区分在因果马尔可夫条件框架下具有相同条件独立关系的因果结构。

提出的方法

• 提出一种信息论不等式，将观测变量间总互信息与任何表示更大系统的DAG中共同祖先的存在性联系起来。
• 采用适用于随机与算法（基于柯尔莫哥洛夫复杂度）场景的公理化互信息概念，确保广泛应用性。
• 在DAG上应用局部马尔可夫条件，即每个节点在其父节点给定下，条件独立于其非后代节点，以建模因果结构。
• 通过对子图进行归纳和对祖先集进行条件化推理，推导出变量与其观测集祖先之间互信息的上界。
• 通过移除某些节点（祖先集）对DAG进行变换，以分析条件互信息并推导不等式。
• 利用互信息的链式法则及条件独立性性质，对变量与其观测变量祖先之间的互信息进行上界估计。

实验结果

研究问题

• RQ1 在何种条件下，可从因果DAG中多个变量间的观测依赖关系推断其共同祖先的存在？
• RQ2 如何利用信息论度量将莱希恩鲍赫的共同原因原理从两变量情形推广至多于两个变量？
• RQ3 是否可仅从观测数据中得出关于未观测混杂因子的结构性结论，而无需干预？
• RQ4 观测变量间互信息水平与任何有效DAG模型中共同祖先存在性之间的定量关系为何？
• RQ5 该结果在概率模型之外的适用范围如何，包括对算法信息（如二进制字符串）是否依然成立？

主要发现

• 在$ n $个观测变量间存在高水平互信息时，任何建模更大未观测系统的DAG中均存在共同祖先，即使完整系统未被观测到。
• 本文证明了一个不等式，表明$ I(Y: \text{an}_G(O_{[n]})) \rangle \text{sum of terms involving } I(Y:O_i) $，当互信息超过某一阈值时，该不等式对DAG施加了结构性约束。
• 扩展的共同原因原理被正式确立：若$ n $个变量间的依赖性超过依赖于$ c $的界限，则在任何有效DAG中，$ c $个变量必须共享一个共同祖先。
• 该结果对概率性和算法性信息均成立，因为证明基于包含两种解释的公理化互信息框架。
• 该方法可区分在仅依赖因果马尔可夫条件时无法区分的因果模型，例如具有相同条件独立结构但不同DAG结构的模型。
• 证明技术采用对子图的归纳法，并对祖先集进行条件化，关键不等式由链式法则及条件互信息的性质推导得出。