[论文解读] Causal inference using the algorithmic Markov condition

Dominik Janzing, Bernhard Schoelkopf|ArXiv.org|Apr 23, 2008

Computability, Logic, AI Algorithms参考文献 26被引用 10

一句话总结

本文提出了一种算法化马尔可夫条件，通过用消失的条件算法互信息替代统计条件独立性，使从单次观测中实现因果推断成为可能。该方法基于算法复杂度构建因果推断框架，通过偏好更简单的马尔可夫核来解决马尔可夫等价结构，并提出使用压缩和资源有界复杂度的可判定近似方法以实现实际应用。

ABSTRACT

Inferring the causal structure that links n observables is usually based upon detecting statistical dependences and choosing simple graphs that make the joint measure Markovian. Here we argue why causal inference is also possible when only single observations are present. We develop a theory how to generate causal graphs explaining similarities between single objects. To this end, we replace the notion of conditional stochastic independence in the causal Markov condition with the vanishing of conditional algorithmic mutual information and describe the corresponding causal inference rules. We explain why a consistent reformulation of causal inference in terms of algorithmic complexity implies a new inference principle that takes into account also the complexity of conditional probability densities, making it possible to select among Markov equivalent causal graphs. This insight provides a theoretical foundation of a heuristic principle proposed in earlier work. We also discuss how to replace Kolmogorov complexity with decidable complexity criteria. This can be seen as an algorithmic analog of replacing the empirically undecidable question of statistical independence with practical independence tests that are based on implicit or explicit assumptions on the underlying distribution.

研究动机与目标

• 将因果推断从统计集合扩展至个体观测，通过算法信息理论建立因果性的基础。
• 解决传统因果马尔可夫条件依赖重复采样和统计独立性的局限性。
• 通过引入条件概率密度的算法复杂度，解决因果图中的马尔可夫等价问题。
• 基于压缩和资源有界复杂度，开发可判定的推理规则，以近似不可计算的算法度量。
• 为基于简洁性和算法结构的启发式因果推断原则提供理论基础。

提出的方法

• 将统计条件独立性替换为条件算法互信息消失，作为因果图中马尔可夫性的标准。
• 将因果马尔可夫条件应用于以字符串表示的个体对象，使用柯尔莫哥洛夫复杂度形式化算法依赖性。
• 引入马尔可夫核的算法独立性概念，偏好具有更简单条件密度的因果结构。
• 通过用压缩方法近似算法互信息，提出可判定的替代方案。
• 利用资源有界复杂度使算法度量可计算，在计算资源受限条件下实现实际因果推断。
• 利用对称性和计算深度作为因果方向的指示，偏好在某一方向上更高效可计算的解释。

实验结果

研究问题

• RQ1 能否使用算法信息理论而非统计集合，从单次观测中推断因果结构？
• RQ2 如何将因果马尔可夫条件重新表述为基于算法互信息的形式，以处理个体对象？
• RQ3 当统计独立性不足时，应采用何种标准来解决马尔可夫等价性问题？算法复杂度如何提供帮助？
• RQ4 不可计算的算法度量（如柯尔莫哥洛夫复杂度）在多大程度上可被可判定的压缩近似所替代？
• RQ5 计算复杂度（如逻辑深度）是否能提供超越算法互信息的因果方向线索？

主要发现

• 算法化马尔可夫条件通过使用算法互信息而非统计独立性建模依赖关系，使从单次观测中实现因果推断成为可能。
• 当对应的马尔可夫核具有算法独立性时，相关因果假设将被优先考虑，从而通过偏好更简单的条件密度来解决马尔可夫等价性问题。
• 该框架为因果发现中偏好更简洁解释的启发式原则提供了理论依据，这些原则基于算法复杂度。
• 可使用算法互信息的压缩近似方法实现实际的因果推断规则，尽管柯尔莫哥洛夫复杂度本身不可计算。
• 资源有界复杂度为无界柯尔莫哥洛夫复杂度提供了可计算的替代方案，尽管它破坏了对称性并使理论分析更加复杂。
• 计算深度以及从原因计算结果所需的时间资源可能提供额外的因果不对称性，表明高效计算更倾向于因果方向。