[论文解读] Causal Discovery with Cascade Nonlinear Additive Noise Models

Ruichu Cai, Jie Qiao+3 more|arXiv (Cornell University)|May 23, 2019

Bayesian Modeling and Causal Inference参考文献 16被引用 10

一句话总结

本文提出级联非线性加性噪声模型（CANM），以在存在未观测中间变量的间接非线性因果关系中识别因果方向。通过将每个直接因果链接建模为非线性加性噪声过程，并利用变分自编码器估计未观测的中间变量，CANM 即使在标准 ANM 因非线性模型的非传递性而失效时，也能恢复因果方向的可识别性。

ABSTRACT

Identification of causal direction between a causal-effect pair from observed data has recently attracted much attention. Various methods based on functional causal models have been proposed to solve this problem, by assuming the causal process satisfies some (structural) constraints and showing that the reverse direction violates such constraints. The nonlinear additive noise model has been demonstrated to be effective for this purpose, but the model class is not transitive--even if each direct causal relation follows this model, indirect causal influences, which result from omitted intermediate causal variables and are frequently encountered in practice, do not necessarily follow the model constraints; as a consequence, the nonlinear additive noise model may fail to correctly discover causal direction. In this work, we propose a cascade nonlinear additive noise model to represent such causal influences--each direct causal relation follows the nonlinear additive noise model but we observe only the initial cause and final effect. We further propose a method to estimate the model, including the unmeasured intermediate variables, from data, under the variational auto-encoder framework. Our theoretical results show that with our model, causal direction is identifiable under suitable technical conditions on the data generation process. Simulation results illustrate the power of the proposed method in identifying indirect causal relations across various settings, and experimental results on real data suggest that the proposed model and method greatly extend the applicability of causal discovery based on functional causal models in nonlinear cases.

研究动机与目标

• 解决标准非线性加性噪声模型（ANM）在涉及未测量中间变量的间接因果效应中无法识别因果方向的问题。
• 开发一种模型，即使在非线性加性噪声过程具有非传递性时，仍能保持级联因果结构的可识别性。
• 利用深度生成框架从观测数据中同时估计因果结构和未测量的中间变量。
• 证明在所提出的 CANM 框架下，噪声与原因之间的统计独立性仍是因果方向识别的有效准则。

提出的方法

• 提出级联非线性加性噪声模型（CANM），其中每个直接因果链接遵循非线性加性噪声结构：$ Z_{i+1} = f_i(Z_i) + N_i $，其中 $ N_i $ 与 $ Z_i $ 独立。
• 采用变分自编码器（VAE）框架，联合从观测数据中估计未测量的中间变量和模型参数。
• 使用基于似然的评分方法评估因果与结果之间的不对称性，似然值越低表示因果方向越正确。
• 通过最大化变分下界（ELBO）在观测数据上应用该方法，以学习潜在因果结构和中间变量。
• 对函数 $ f_i $ 施加结构约束，以在一般条件下确保可识别性。
• 通过比较似然评分 $ ilde{ ho}_{X o Y} $ 和 $ ilde{ ho}_{Y o X} $ 验证因果方向，选择似然值较低的方向。

实验结果

研究问题

• RQ1 当存在未测量中间变量且标准 ANM 因非传递性而失效时，能否在间接非线性因果链中可靠识别因果方向？
• RQ2 所提出的 CANM 模型是否能在噪声与原因之间独立的条件下，即使跨越多个未测量中间变量，仍保持因果方向的可识别性？
• RQ3 像 VAE 这类深度生成模型能否有效恢复未测量的中间因果变量，并从观测数据中估计因果结构？
• RQ4 在真实世界和合成数据集上，该方法在因果方向识别准确率方面与标准 ANM 相比如何？

主要发现

• 所提出的 CANM 方法在存在未测量中间变量的合成数据中成功识别出正确的因果方向，而标准 ANM 因非传递性而失效。
• 在能源数据集中，CANM 正确识别出 $ \text{hour of day} \to \text{electricity load} $，其 $ \tilde{\rho}_{X\to Y} = -2.62 $，而 ANM 失败（两个方向的 p 值均为 0）。
• 能源数据集中推断出的中间变量与实际室外温度具有高度相关性（ρ = -0.35），表明有效恢复了有意义的因果中间变量。
• 在股票市场数据集中，CANM 识别出 $ \text{Hutchison} \to \text{Sun Hung Kai} $，其 $ \tilde{\rho}_{X\to Y} = -2.49 $，优于 ANM（因果方向 p 值 = 0.006 < 0.05，失败）。
• 股票市场数据中拟合的中间变量与实际长江实业股票回报的相关性很强（ρ = -0.54），验证了模型恢复有意义潜在因果变量的能力。
• 理论分析表明，在适当条件下，CANM 框架下噪声与原因之间的独立性仍是因果方向识别的有效准则。