[论文解读] Distinguishing Cause and Effect via Second Order Exponential Models

Dominik Janzing, Xiaohai Sun+1 more|ArXiv.org|Oct 29, 2009

Bayesian Modeling and Causal Inference参考文献 23被引用 10

一句话总结

该论文提出了一种因果推断方法，通过使用二阶指数模型来区分混合型离散-连续系统中的因果关系，该方法在满足一阶与二阶矩约束的前提下最大化条件熵。该方法通过偏好更平滑的条件密度来识别因果方向，并检测因果变量之间非典型的算法依赖关系，即使在存在离散变量或子集约束变量时，也能成功区分马尔可夫等价图中的因果结构。

ABSTRACT

We propose a method to infer causal structures containing both discrete and continuous variables. The idea is to select causal hypotheses for which the conditional density of every variable, given its causes, becomes smooth. We define a family of smooth densities and conditional densities by second order exponential models, i.e., by maximizing conditional entropy subject to first and second statistical moments. If some of the variables take only values in proper subsets of R^n, these conditionals can induce different families of joint distributions even for Markov-equivalent graphs. We consider the case of one binary and one real-valued variable where the method can distinguish between cause and effect. Using this example, we describe that sometimes a causal hypothesis must be rejected because P(effect|cause) and P(cause) share algorithmic information (which is untypical if they are chosen independently). This way, our method is in the same spirit as faithfulness-based causal inference because it also rejects non-generic mutual adjustments among DAG-parameters.

研究动机与目标

• 开发一种适用于混合离散与连续变量的因果推断方法，以解决现有方法在该类系统中常失效的问题。
• 通过检测因果变量之间违反典型独立性假设的非典型依赖关系，弥补基于忠实性假设方法的局限性。
• 通过偏好更平滑的条件密度，为马尔可夫等价因果图提供一种有原则的筛选方式。
• 通过利用离散变量在条件密度族中引发的结构差异，将因果发现从纯连续或纯离散变量扩展至混合变量系统。
• 基于因果变量之间共享的算法信息形式化一个准则，拒绝在独立性假设下此类共享信息不典型的因果假设。

提出的方法

• 该方法使用二阶指数模型，通过在第一阶与第二阶统计矩约束下最大化条件熵，来定义条件密度的参数族。
• 通过灵活的指数族建模条件密度 P(effect|cause)，同时包含线性和非线性项，从而实现平滑性与复杂度的控制。
• 对于二值原因与实值结果，该模型可捕捉均值与方差的变化，其条件密度依赖于均值、方差及非线性失真项等参数。
• 该方法评估条件密度的平滑性，并选择使马尔可夫核最规则、最平滑的因果方向。
• 其原理在于：P(effect|cause) 与 P(cause) 除非存在因果联系，否则不应共享算法信息，因此拒绝那些共享信息非典型的假设。
• 该方法在双模混合模型上得到验证，其中因果方向（二值原因 → 实值结果）产生的条件分布更简单、更平滑，而反向则更复杂。

实验结果

研究问题

• RQ1 能否在仅使用观测数据的情况下，通过因果推断方法区分一个离散变量与一个连续变量之间的因果关系？
• RQ2 如何利用条件密度的平滑性作为准则，来偏好混合变量系统中某一因果方向而非另一方向？
• RQ3 P(effect|cause) 与 P(cause) 之间非典型的算法依赖关系在拒绝非因果假设中起到何种作用？
• RQ4 即使底层的DAG是马尔可夫等价的，二阶指数模型能否为不同因果方向生成不同的联合分布族？
• RQ5 离散或子集约束变量的存在如何使因果发现成为可能，而纯连续模型却无法实现？

主要发现

• 该方法在双模混合模型中成功区分了原因与结果，其中二值变量通过改变结果的均值来引起因果效应，导致条件分布更平滑。
• 反向因果方向（结果 → 原因）产生更复杂、更不平滑的条件密度，因此基于平滑性准则被拒绝。
• 通过利用 P(effect|cause) 与 P(cause) 之间非典型的算法信息共享，成功拒绝了非因果假设，与忠实性原则一致，但将其扩展至混合变量场景。
• 在因果方向中，P(y|x=1) 的得分函数在四个点上呈线性无关，证实了该模型的可识别性。
• 该方法表明，即使在马尔可夫等价图中，离散或子集约束变量也会在不同因果方向下诱导出不同的联合分布族。
• 数值验证确认了条件密度的梯度矩阵满秩，支持该模型区分因果方向的能力。