[论文解读] Minimal I-MAP MCMC for Scalable Structure Discovery in Causal DAG Models

Raj Agrawal, Tamara Broderick+1 more|arXiv (Cornell University)|Mar 15, 2018

Bayesian Modeling and Causal Inference参考文献 24被引用 7

一句话总结

本文提出 Minimal I-MAP MCMC，一种可扩展的贝叶斯方法，用于在 DAG 中发现因果结构，该方法利用经验条件独立性检验，聚焦于最小 I-MAP——与顶点顺序一致的稀疏 DAG。该方法在每次 MCMC 迭代中实现 O(p⁴) 时间复杂度（与最大入度无关），支持灵活的先验设定，并在真实数据集上展现出优于顺序 MCMC 和分区 MCMC 的准确性、混合性能和可扩展性。

ABSTRACT

Learning a Bayesian network (BN) from data can be useful for decision-making or discovering causal relationships. However, traditional methods often fail in modern applications, which exhibit a larger number of observed variables than data points. The resulting uncertainty about the underlying network as well as the desire to incorporate prior information recommend a Bayesian approach to learning the BN, but the highly combinatorial structure of BNs poses a striking challenge for inference. The current state-of-the-art methods such as order MCMC are faster than previous methods but prevent the use of many natural structural priors and still have running time exponential in the maximum indegree of the true directed acyclic graph (DAG) of the BN. We here propose an alternative posterior approximation based on the observation that, if we incorporate empirical conditional independence tests, we can focus on a high-probability DAG associated with each order of the vertices. We show that our method allows the desired flexibility in prior specification, removes timing dependence on the maximum indegree and yields provably good posterior approximations; in addition, we show that it achieves superior accuracy, scalability, and sampler mixing on several datasets.

研究动机与目标

• 解决现有 MCMC 方法在高维设置下进行贝叶斯网络结构学习时的可扩展性和先验灵活性限制。
• 克服依赖于真实 DAG 最大入度的顺序 MCMC 所导致的指数级时间和内存复杂度。
• 在生物和特定领域应用中常见的非结构模块化先验（例如路径和顺序约束）中实现应用。
• 在保持高效 MCMC 混合和计算效率的同时，提供后验近似质量的理论保证。

提出的方法

• 使用经验条件独立性（CI）检验，为每个顶点排列识别一个高概率的最小 I-MAP DAG，从而将搜索空间缩减为每个顺序对应单一 DAG。
• 将最小 I-MAP 定义为与给定排列和观测到的 CI 关系一致的最稀疏 DAG，利用 Verma-Pearl 的 d-分离刻画。
• 将后验分布限制在最小 I-MAP 的空间中，实现在排列空间上的高效 MCMC 采样，同时保持后验近似质量。
• 应用经验贝叶斯论证，证明在缩减后的最小 I-MAP 空间上使用原始 DAG 先验和似然函数是合理的，确保统计一致性。
• 设计一种 MCMC 采样器，能够高效地提出新排列并更新相应的最小 I-MAP，每次迭代时间复杂度为 O(p⁴)。
• 证明通过限制在最小 I-MAP 上引入的后验近似误差是有界的，并且随着样本量增加而趋于零。

实验结果

研究问题

• RQ1 我们能否在不依赖最大入度的前提下，实现 DAG 中贝叶斯结构学习的可扩展且统计一致的后验近似？
• RQ2 我们能否在保持计算效率的同时，将非结构模块化先验（如路径和顺序约束）整合到基于 MCMC 的结构学习中？
• RQ3 将 MCMC 限制在最小 I-MAP 上是否能比现有方法（如顺序 MCMC 和分区 MCMC）获得更好的混合性能和准确性？
• RQ4 当 MCMC 采样被限制在最小 I-MAP 上时，其理论计算复杂度是多少？与顺序 MCMC 相比如何？
• RQ5 Minimal I-MAP MCMC 能否作为贪心结构学习算法的评分准则，从而在性能上超越现有方法？

主要发现

• Minimal I-MAP MCMC 实现了 O(p³) 的经验时间缩放，显著快于顺序 MCMC 的 O(p^{k+1}) 复杂度，其中 k 为最大入度。
• 该方法在 p=80 个节点时仅需约 1 MB 内存，而相同条件下顺序 MCMC 所需内存超过 40 GB。
• Minimal I-MAP MCMC 在多个数据集上的 MCMC 混合性能和 ROC 表现均优于顺序 MCMC 和分区 MCMC。
• 引入非结构模块化先验（如配体→受体→胞内蛋白路径）使 AUROC 提升 1–2%，证实了其先验灵活性。
• 限制在最小 I-MAP 上引入的后验近似误差在理论上是有界的，并且随着样本量增加而减小。
• 该方法支持使用任意 DAG 先验，包括基于生物通路知识的先验，而这些在顺序 MCMC 所需的结构模块化先验下是不可行的。