[论文解读] BCD Nets: Scalable Variational Approaches for Bayesian Causal Discovery

Chris Cundy, Aditya Grover+1 more|arXiv (Cornell University)|Dec 6, 2021

Bayesian Modeling and Causal Inference被引用 4

一句话总结

BCD Nets 提出了一种可扩展的变分推断框架，用于线性高斯结构方程模型中的贝叶斯因果发现，利用深度神经网络通过连续松弛和钟形先验对 DAG 上的后验分布进行建模。在低数据环境下，该方法通过量化 DAG 结构推断中的不确定性，在结构汉明距离（SHD）上显著优于最大似然方法。

ABSTRACT

A structural equation model (SEM) is an effective framework to reason over causal relationships represented via a directed acyclic graph (DAG). Recent advances have enabled effective maximum-likelihood point estimation of DAGs from observational data. However, a point estimate may not accurately capture the uncertainty in inferring the underlying graph in practical scenarios, wherein the true DAG is non-identifiable and/or the observed dataset is limited. We propose Bayesian Causal Discovery Nets (BCD Nets), a variational inference framework for estimating a distribution over DAGs characterizing a linear-Gaussian SEM. Developing a full Bayesian posterior over DAGs is challenging due to the the discrete and combinatorial nature of graphs. We analyse key design choices for scalable VI over DAGs, such as 1) the parametrization of DAGs via an expressive variational family, 2) a continuous relaxation that enables low-variance stochastic optimization, and 3) suitable priors over the latent variables. We provide a series of experiments on real and synthetic data showing that BCD Nets outperform maximum-likelihood methods on standard causal discovery metrics such as structural Hamming distance in low data regimes.

研究动机与目标

• 为解决点估计方法在因果发现中的局限性，这些方法在有限数据或不可识别数据下无法捕捉 DAG 结构的不确定性。
• 开发一种可扩展的贝叶斯框架，用于估计线性高斯 SEM 中 DAG 上的后验分布。
• 在医学和政策等高风险、低数据应用场景中实现不确定性感知的因果推断。
• 通过连续松弛和摊销推断，克服在离散、组合性 DAG 上进行完整贝叶斯推断的计算不可行性。

提出的方法

• BCD Nets 使用深度神经网络对 SEM 参数（边权重和噪声方差）的分解后验进行参数化，利用 DAG 分解为三角矩阵和排列的特性。
• 通过 Gumbel-Softmax 技巧对排列进行连续松弛，以实现低方差的随机优化变分目标。
• 对边权重应用钟形先验，以促进稀疏性并改善结构泛化能力。
• 采用摊销推断，利用神经网络高效近似 DAG 上的后验分布，避免穷举枚举。
• 将变分目标表述为边际似然的可微下界，支持基于梯度优化的端到端训练。
• 该框架支持线性高斯 SEM 中等噪声方差和非等噪声方差设置，灵活建模 DAG 与参数的联合后验。

实验结果

研究问题

• RQ1 可扩展的变分推断框架能否有效量化线性高斯 SEM 中 DAG 结构的不确定性？
• RQ2 在低数据环境下，使用恰当先验的贝叶斯估计与最大似然点估计相比表现如何？
• RQ3 哪些设计选择——如参数化、松弛方式和先验选择——在贝叶斯因果发现中对性能和可扩展性影响最大？
• RQ4 使用连续松弛和摊销推断在组合性 DAG 空间中能否在保持准确性的同时实现高效优化？
• RQ5 当存在非线性关系或未观测混杂因素等模型误设时，该方法的鲁棒性如何？

主要发现

• 在低数据环境下，BCD Nets 在结构汉明距离（SHD）上显著优于最大似然基线方法，32 个节点的 Erdős-Rényi 图上 SHD 从约 30 降低至约 11。
• 在 64 个节点图上，该方法平均训练时间为 350 分钟，相比 GADGET（635 分钟）和 GOLEM（65 分钟）在可扩展性与准确性的权衡上表现更优。
• 消融研究显示，若移除钟形先验或固定 Sinkhorn 步数，SHD 从 11 上升至约 30，表明稀疏性和自适应松弛至关重要。
• 在拉普拉斯先验下，样本与诱导协方差矩阵之间的 KL 散度仅略有增加，但 SHD 显著上升，表明尽管数据拟合良好，但结构泛化能力差。
• 随着数据集规模增大，BCD Nets 与 MLE 方法之间的性能差距缩小，证实该方法的优势在低数据环境下最为显著。
• 该框架在优化方面对模型误设具有鲁棒性，但假设不存在未观测混杂因素且关系为线性，若违反此假设可能限制其在真实场景中的适用性。