[论文解读] MissDAG: Causal Discovery in the Presence of Missing Data with Continuous Additive Noise Models

Erdun Gao, Ignavier Ng+6 more|arXiv (Cornell University)|May 27, 2022

Advanced Causal Inference Techniques被引用 11

一句话总结

MissDAG 是一种基于期望最大化（EM）的新型框架，用于在可忽略缺失性（ignorable missingness）和加性噪声模型（ANMs）下，从不完整数据中进行因果发现。它通过最大化可观测数据的似然函数，联合学习因果结构并填补缺失值，在合成数据和真实世界场景中均优于两步法（先填补后发现）的性能。

ABSTRACT

State-of-the-art causal discovery methods usually assume that the observational data is complete. However, the missing data problem is pervasive in many practical scenarios such as clinical trials, economics, and biology. One straightforward way to address the missing data problem is first to impute the data using off-the-shelf imputation methods and then apply existing causal discovery methods. However, such a two-step method may suffer from suboptimality, as the imputation algorithm may introduce bias for modeling the underlying data distribution. In this paper, we develop a general method, which we call MissDAG, to perform causal discovery from data with incomplete observations. Focusing mainly on the assumptions of ignorable missingness and the identifiable additive noise models (ANMs), MissDAG maximizes the expected likelihood of the visible part of observations under the expectation-maximization (EM) framework. In the E-step, in cases where computing the posterior distributions of parameters in closed-form is not feasible, Monte Carlo EM is leveraged to approximate the likelihood. In the M-step, MissDAG leverages the density transformation to model the noise distributions with simpler and specific formulations by virtue of the ANMs and uses a likelihood-based causal discovery algorithm with directed acyclic graph constraint. We demonstrate the flexibility of MissDAG for incorporating various causal discovery algorithms and its efficacy through extensive simulations and real data experiments.

研究动机与目标

• 解决现有因果发现方法假设数据完整性的局限性，该假设在临床试验、经济学等现实应用中常被违反。
• 克服两步法（先填补后发现）的次优性，因其在填补与结构学习之间目标不匹配，可能导致偏差。
• 开发一种统一框架，在可忽略缺失性和可识别 ANM 的假设下，整合因果发现与缺失数据处理。
• 使各种基于评分的因果发现算法能够在一个灵活的 EM 基础优化框架中统一使用。
• 在连续加性噪声模型下确保因果结构的可识别性，包括线性非高斯、等方差线性高斯以及非线性 ANM。

提出的方法

• 将缺失数据下的因果发现建模为 EM 算法，通过在 ANM 假设下最大化可观测数据的期望似然函数。
• 当缺失条目后验分布无法解析求解时，在 E 步骤中采用马尔可夫链蒙特卡罗 EM（MCEM），以实现似然函数的近似。
• 在 M 步骤中使用密度变换技术，将噪声分布建模为基于 ANM 推导出的更简单、特定形式，以提升可计算性。
• 将任何基于评分的因果发现算法（带 DAG 约束）集成到 EM 框架中，实现灵活且有理论依据的结构学习。
• 通过连续优化（如 NOTEARS 风格的约束）施加 DAG 约束，确保学习到的图保持无环。
• 通过处理马尔可夫等价类，支持可识别 ANM（如 LiNGAM、LGM-EV）和不可识别情形（如不等方差的线性高斯模型）。

实验结果

研究问题

• RQ1 联合似然框架是否能在缺失数据下的因果发现中优于两步法（先填补后发现）？
• RQ2 当数据完全随机缺失（MCAR）或随机缺失（MAR）时，MissDAG 能在多大程度上恢复真实因果结构？
• RQ3 在缺失数据条件下，MissDAG 对不同类型 ANM（线性非高斯、非线性、等方差高斯）的结构恢复准确性如何？
• RQ4 在结构学习准确性和对高缺失率的鲁棒性方面，MissDAG 与现有方法相比表现如何？
• RQ5 MissDAG 是否可灵活扩展以集成多种基于评分的因果发现算法，而无需重新设计核心框架？

主要发现

• MissDAG 显著优于两步法（如使用高斯 EM 填补后应用因果发现）在恢复正确 DAG 结构方面，尤其在高缺失率下表现更优。
• 在模拟实验中，MissDAG 在所有测试的 ANM 类型下（包括非线性和线性非高斯模型）均实现了比基线方法更高的结构汉明距离（SHD）准确率。
• 在真实世界数据集（如 Asia 和 Alarm 网络）上，MissDAG 展现出对真实世界缺失模式的强鲁棒性。
• 与先填补方法相比，MissDAG 在可观测数据上的似然值更高，表明其更贴近真实数据生成过程。
• MCEM 的集成有效处理了无法解析求解的后验分布，使该框架可扩展至闭式解不可用的复杂模型。
• 该框架具有可扩展性，可灵活适配先进因果发现算法，包括含对数行列式项或干预约束的算法。