[论文解读] Causal Markov condition for submodular information measures

Bastian Steudel, Dominik Janzing+1 more|arXiv (Cornell University)|Feb 22, 2010

Computability, Logic, AI Algorithms参考文献 24被引用 20

一句话总结

本文将因果马尔可夫条件（CMC）推广至任意次模信息度量，将其适用范围从香农熵扩展至柯尔莫哥洛夫复杂度和基于压缩的度量等。它建立了一个功能模型框架，其中因果机制通过父节点和噪声的确定性计算定义，从而在次模度量下证明了CMC的合理性，并在真实文本数据上通过压缩方案展示了实际的因果推断。

ABSTRACT

The causal Markov condition (CMC) is a postulate that links observations to causality. It describes the conditional independences among the observations that are entailed by a causal hypothesis in terms of a directed acyclic graph. In the conventional setting, the observations are random variables and the independence is a statistical one, i.e., the information content of observations is measured in terms of Shannon entropy. We formulate a generalized CMC for any kind of observations on which independence is defined via an arbitrary submodular information measure. Recently, this has been discussed for observations in terms of binary strings where information is understood in the sense of Kolmogorov complexity. Our approach enables us to find computable alternatives to Kolmogorov complexity, e.g., the length of a text after applying existing data compression schemes. We show that our CMC is justified if one restricts the attention to a class of causal mechanisms that is adapted to the respective information measure. Our justification is similar to deriving the statistical CMC from functional models of causality, where every variable is a deterministic function of its observed causes and an unobserved noise term. Our experiments on real data demonstrate the performance of compression based causal inference.

研究动机与目标

• 将基于香农熵的统计独立性所定义的因果马尔可夫条件（CMC）扩展至任意次模信息度量。
• 形式化一个因果功能模型，其中每个变量是其父节点和噪声项的确定性函数，并根据所选信息度量进行适配。
• 通过将因果机制的结构与信息度量的兼容性相联系，证明在该广义框架下CMC的合理性。
• 通过使用柯尔莫哥洛夫复杂度等不可计算度量的可计算替代品（如数据压缩长度），实现实际的因果推断。
• 利用真实文本数据上的压缩基信息度量，通过PC等因果发现算法对方法进行实证验证。

提出的方法

• 提出一种使用任意次模信息度量的广义因果马尔可夫条件，以该度量定义的依赖关系替代统计独立性。
• 引入一个因果功能模型，其中每个节点通过其父节点和噪声项的确定性函数计算，确保节点的信息含量可被其父节点和噪声完全解释。
• 通过次模度量定义条件独立性，确保所得的独立性关系满足半图模型公理。
• 通过在祖先集合上进行归纳，并对度量进行分解，证明当因果机制与信息度量的结构兼容时，CMC成立。
• 通过修改条件化过程以适应信息度量中条件化未必减少依赖关系的情况，将PC算法适配于因果发现。
• 采用压缩方案（如Lempel-Ziv）作为柯尔莫哥洛夫复杂度的可计算代理，以实现在文本数据上的实际因果推断。

实验结果

研究问题

• RQ1 因果马尔可夫条件能否超越香农熵，推广至任意次模信息度量？
• RQ2 与给定次模信息度量兼容的因果机制属于哪一类别？如何对其进行形式化？
• RQ3 如何将因果功能模型适配于次模信息度量，以证明CMC的合理性？
• RQ4 当使用在条件化过程中不严格减少依赖关系的信息度量时，标准因果发现算法需要进行哪些修改？
• RQ5 基于压缩的信息度量能否在真实世界数据（如自然语言文本）中有效支持因果推断？

主要发现

• 因果马尔可夫条件可推广至任意次模信息度量，当因果机制与度量的结构兼容时，该条件成立。
• 功能模型框架——即每个变量是其父节点和噪声的确定性函数——在次模度量下可合理解释CMC，类似于统计情形。
• 本文表明，当因果机制尊重所选度量的信息理论特性时，CMC成立，从而为因果推断提供了有原则的先验。
• 基于压缩的度量（如Lempel-Ziv复杂度）在因果发现任务中可作为柯尔莫哥洛夫复杂度的有效、可计算替代品。
• 在英文文本片段上的实验表明，基于压缩的因果推断优于标准聚类方法，能够揭示超越单纯相似性的因果结构。