[论文解读] Combining Linear Non-Gaussian Acyclic Model with Logistic Regression Model for Estimating Causal Structure from Mixed Continuous and Discrete Data

Chao Li, Shohei Shimizu|arXiv (Cornell University)|Feb 16, 2018

Bayesian Modeling and Causal Inference参考文献 10被引用 3

一句话总结

该论文提出了一种混合因果模型，结合连续变量的线性非高斯无环模型（LiNGAM）与离散变量的逻辑回归，无需离散化即可从混合数据中识别完整的因果结构。该方法采用BIC评分函数进行模型选择，在模拟中表现出渐近一致性，优于基于离散化的传统方法（如PC算法）。

ABSTRACT

Estimating causal models from observational data is a crucial task in data analysis. For continuous-valued data, Shimizu et al. have proposed a linear acyclic non-Gaussian model to understand the data generating process, and have shown that their model is identifiable when the number of data is sufficiently large. However, situations in which continuous and discrete variables coexist in the same problem are common in practice. Most existing causal discovery methods either ignore the discrete data and apply a continuous-valued algorithm or discretize all the continuous data and then apply a discrete Bayesian network approach. These methods possibly loss important information when we ignore discrete data or introduce the approximation error due to discretization. In this paper, we define a novel hybrid causal model which consists of both continuous and discrete variables. The model assumes: (1) the value of a continuous variable is a linear function of its parent variables plus a non-Gaussian noise, and (2) each discrete variable is a logistic variable whose distribution parameters depend on the values of its parent variables. In addition, we derive the BIC scoring function for model selection. The new discovery algorithm can learn causal structures from mixed continuous and discrete data without discretization. We empirically demonstrate the power of our method through thorough simulations.

研究动机与目标

• 为解决现有因果发现方法在忽略离散变量或对连续变量进行离散化时导致的信息损失或近似误差等局限性。
• 开发一种统一的因果模型，通过可识别的结构假设，同时处理连续与离散变量。
• 推导适用于混合变量场景的BIC评分函数，实现一致的因果结构学习。
• 通过实证验证该方法在性能上相较于最先进的方法（如经离散化处理的PC算法）的表现。

提出的方法

• 模型假设连续变量服从带有加性非高斯噪声的线性非高斯无环模型（LiNGAM）。
• 离散变量采用逻辑回归建模，其中结果的对数优势线性依赖于其父变量。
• 基于DAG结构对联合似然进行分解，结合高斯和逻辑回归的条件密度。
• 推导BIC评分函数以评估候选DAG结构，综合考虑模型复杂度与对数似然。
• 在Python中实现搜索算法，以在所有可能的DAG中最大化BIC得分。
• 该方法避免数据离散化，保留信息并实现完整因果结构的识别。

实验结果

研究问题

• RQ1 结合LiNGAM与逻辑回归的混合因果模型能否在混合连续与离散数据中识别出真实的因果结构？
• RQ2 所提出的BIC评分函数是否能在样本量增加时实现真实DAG的稳定恢复？
• RQ3 与基于离散化的PC算法相比，该方法在混合数据上的性能如何？
• RQ4 连续变量数量的多少在多大程度上影响基于离散化方法的性能？
• RQ5 当骨架结构已知时，该方法能否在样本量较少的情况下实现高精度？

主要发现

• 所提方法表现出渐近一致性，随着样本量增加，能正确恢复真实因果结构。
• 该方法显著优于经离散化处理的PC算法，尤其在连续变量数量较多时，因离散化导致的信息损失更少。
• 当骨架结构已知时，混合-Oracle方法仅用100个样本即可实现80%的全DAG结构恢复准确率。
• 随着连续变量数量增加，离散化PC算法的性能下降，证实了离散化对因果发现的负面影响。
• 在所提假设下，BIC评分函数可实现唯一模型选择，避免了马尔可夫等价类问题。
• 该方法无需离散化即可成功识别完整因果结构，证明了直接建模混合数据类型的优越性。