[论文解读] Formally Justifying MDL-based Inference of Cause and Effect

Alexander Marx, Jilles Vreeken|arXiv (Cornell University)|May 5, 2021

Computability, Logic, AI Algorithms参考文献 30被引用 4

一句话总结

本文正式弥合了条件的算法独立性（AIC）假说与用于因果推断的实际两段式最小描述长度（MDL）方法之间的差距。它推导出一种基于柯尔莫哥洛夫复杂度的两段式AIC形式化，该形式可直接映射到MDL编码，并证明该形式化在理论上与原始AIC假说产生相同的因果推断结果，从而确保基于MDL的因果发现具有理论一致性。

ABSTRACT

The algorithmic independence of conditionals, which postulates that the causal mechanism is algorithmically independent of the cause, has recently inspired many highly successful approaches to distinguish cause from effect given only observational data. Most popular among these is the idea to approximate algorithmic independence via two-part Minimum Description Length (MDL). Although intuitively sensible, the link between the original postulate and practical two-part MDL encodings is left vague. In this work, we close this gap by deriving a two-part formulation of this postulate, in terms of Kolmogorov complexity, which directly links to practical MDL encodings. To close the cycle, we prove that this formulation leads on expectation to the same inference result as the original postulate.

研究动机与目标

• 将条件的算法独立性（AIC）假说与因果推断中实际使用的两段式MDL编码正式关联起来。
• 解决MDL近似方法与以柯尔莫哥洛夫复杂度表述的原始AIC假说之间关系的模糊性。
• 确立基于两段式描述的MDL因果推断在理论上可由AIC原则所支持。
• 分析联合数据-模型编码对因果推断的影响，强调模型与数据的独立性。

提出的方法

• 推导出AIC假说的两段式柯尔莫哥洛夫复杂度形式化，明确包含模型复杂度以及给定模型下的数据复杂度。
• 利用柯尔莫哥洛夫复杂度的链式法则，将总描述长度表示为 $ K(P_X) + K(P_{Y|X}) + H(P_{XY}) $，对应因果方向，至多相差一个常数项。
• 通过利用机制的算法独立性，证明该形式化在期望下与原始AIC假说产生相同的因果推断结果。
• 分析模型与数据联合编码的情形，表明只有当模型与数据独立时，才能保持因果与反因果方向之间的不对称性。
• 证明在AIC下，$ K(P_{Y|X} \mid x) \approx K(P_{Y|X}) $，但在反因果方向上 $ K(P_{X|Y} \mid y) \not\approx K(P_{X|Y}) $，从而保持不对称性。
• 建立所推导的两段式柯尔莫哥洛夫复杂度形式化与实际中使用的标准两段式MDL近似之间的单射映射。

实验结果

研究问题

• RQ1 如何以两段式柯尔莫哥洛夫复杂度的形式正式表达条件的算法独立性假说？
• RQ2 实际中使用的两段式MDL近似是否在因果推断性能上与原始AIC假说相对应？
• RQ3 联合数据-模型编码需满足何种条件，才能保持因果与反因果方向之间的不对称性？
• RQ4 为何在模型描述中包含数据会破坏因果推断所必需的不对称性？
• RQ5 能否通过柯尔莫哥洛夫复杂度严格证明基于MDL的因果推断的理论基础？

主要发现

• 本文推导出AIC假说的两段式柯尔莫哥洛夫复杂度形式化，明确包含模型复杂度和给定模型下的数据复杂度。
• 该形式化被证明在期望下与原始AIC假说产生相同的因果推断结果，从而为MDL近似方法的应用提供了理论依据。
• 只有当模型复杂度与数据独立时，因果与反因果方向之间的不对称性才能被保持，即 $ K(P_{Y|X} \mid x) \approx K(P_{Y|X}) $。
• 对于联合编码，模型必须独立于数据进行编码，才能维持必要的不对称性；否则描述长度将变为对称，导致推断失败。
• 所推导的形式化与标准两段式MDL编码之间存在一一对应关系，验证了其在实际因果推断中的适用性。
• 结果表明，基于MDL的方法仅在模型描述与观测数据独立时，才在理论上适用于因果发现。