[论文解读] Generalized Independent Noise Condition for Estimating Latent Variable Causal Graphs

Feng Xie, Ruichu Cai+4 more|arXiv (Cornell University)|Oct 10, 2020

Bayesian Modeling and Causal Inference参考文献 31被引用 10

一句话总结

本文提出了广义独立噪声（GIN）条件，用于在具有潜变量共变（即潜共因）的线性非高斯潜变量模型（LiNGLaMs）中估计潜在变量因果图。通过检验观测变量线性组合与另一组变量之间的统计独立性，GIN 能够识别根潜变量集合并恢复因果结构（包括方向），在合成数据和真实世界数据中均优于现有方法。

ABSTRACT

Causal discovery aims to recover causal structures or models underlying the observed data. Despite its success in certain domains, most existing methods focus on causal relations between observed variables, while in many scenarios the observed ones may not be the underlying causal variables (e.g., image pixels), but are generated by latent causal variables or confounders that are causally related. To this end, in this paper, we consider Linear, Non-Gaussian Latent variable Models (LiNGLaMs), in which latent confounders are also causally related, and propose a Generalized Independent Noise (GIN) condition to estimate such latent variable graphs. Specifically, for two observed random vectors $\mathbf{Y}$ and $\mathbf{Z}$, GIN holds if and only if $ω^{\intercal}\mathbf{Y}$ and $\mathbf{Z}$ are statistically independent, where $ω$ is a parameter vector characterized from the cross-covariance between $\mathbf{Y}$ and $\mathbf{Z}$. From the graphical view, roughly speaking, GIN implies that causally earlier latent common causes of variables in $\mathbf{Y}$ d-separate $\mathbf{Y}$ from $\mathbf{Z}$. Interestingly, we find that the independent noise condition, i.e., if there is no confounder, causes are independent from the error of regressing the effect on the causes, can be seen as a special case of GIN. Moreover, we show that GIN helps locate latent variables and identify their causal structure, including causal directions. We further develop a recursive learning algorithm to achieve these goals. Experimental results on synthetic and real-world data demonstrate the effectiveness of our method.

研究动机与目标

• 解决现有因果发现方法无法建模潜变量与共因之间因果关系的局限性。
• 克服基于秩的协方差方法对每个潜因子至少需要三个纯净测量变量的限制。
• 利用高阶统计量与非高斯性识别潜变量因果结构，包括因果方向。
• 开发一种递归算法，从未观测数据中估计潜变量图。
• 提出适用于潜变量设置中存在共因因果依赖关系的独立噪声条件的一般化形式。

提出的方法

• 提出广义独立噪声（GIN）条件：对于观测向量 Y 和 Z，若 ωᵀY 与 Z 独立，则 GIN 成立，其中 ω 由 Y 与 Z 之间的交叉协方差导出。
• 以 d-分离形式定义 GIN：当 GIN 成立时，Y 的因果上位潜共因会通过 d-分离使 Y 与 Z 独立。
• 利用 Darmois-Skitovitch 定理证明：当一个潜变量集合具有父节点时，GIN 必然失效，从而实现根集检测。
• 开发一种递归学习算法，通过 GIN 检测识别根潜变量集合，并迭代恢复因果结构。
• 将 GIN 应用于基于聚类的数据结构，通过检验潜变量集合的“半子代”之间的独立性，推断因果顺序。
• 利用非高斯性与高阶矩区分因果方向，避免等价类爆炸。

实验结果

研究问题

• RQ1 独立噪声条件能否推广至处理存在因果关联的潜共因？
• RQ2 GIN 条件在具有非高斯误差的 LiNGLaMs 中是否能可靠识别根潜变量集合？
• RQ3 当标准条件独立方法失效时，GIN 是否可用于恢复潜变量之间的因果方向？
• RQ4 基于递归 GIN 的算法在识别潜变量因果结构方面，与现有方法相比性能如何？
• RQ5 GIN 在多大程度上减少了潜变量因果发现中的等价类规模？

主要发现

• 独立噪声条件是所提出的 GIN 条件的特例，验证了其一般性。
• GIN 通过独立性检验检测潜变量集合是否无父节点，从而实现根潜变量集合的识别。
• 在含 20 个潜变量（60 个观测变量）的合成数据中，该方法在 15% 潜变量遗漏与 12% 潜变量误报条件下，实现了 79% 的正确排序率。
• 递归算法成功恢复了 LiNGLaMs 中的因果结构，包括因果方向，即使多个潜变量影响相同的观测变量。
• 在 Byrne（2010）的真实世界数据中，该方法推断出如角色冲突、决策制定与情绪耗竭等合理潜因子，与假设构念一致。
• 该方法通过利用高阶统计量与非高斯性，优于基于秩的方法，避免了每个潜因子需有三个纯净测量变量的限制。