[论文解读] High dimensional Bayesian inference for Gaussian directed acyclic graph models

Emanuel Ben‐David, Tianxi Li+2 more|arXiv (Cornell University)|Sep 20, 2011

Bayesian Modeling and Causal Inference参考文献 10被引用 24

一句话总结

本文提出了DAG-Wishart分布——高维高斯有向无环图（DAG）模型的共轭先验，通过超马尔可夫性质实现可扩展的贝叶斯推断。该方法提供后验矩的闭式解，在协方差估计和模型选择方面优于现有方法（如Lasso-DAG），尤其在高维情形下表现更优。

ABSTRACT

In this paper, we consider Gaussian models Markov with respect to an arbitrary DAG. We first construct a family of conjugate priors for the Cholesky parametrization of the covariance matrix of such models. This family has as many shape parameters as the DAG has vertices, and naturally extends the work of Geiger and Heckerman [8]. From these distributions, we derive prior distributions for the covariance and precision parameters of the Gaussian DAG Markov models. Our works thus extends the work of Dawid and Lauritzen [5] and Letac and Massam [16] for Gaussian models Markov with respect to a decomposable graph to arbitrary DAGs. For this reason, we call our distributions DAG-Wishart distributions. An advantage of these distributions is that they possess strong hyper Markov properties and thus allow for explicit estimation of the covariance and precision parameters, regardless of the dimension of the problem. They also allow us to develop methodology for model selection and covariance estimation in the space of DAG-Markov models. We demonstrate via several numerical examples that the proposed method scales well to high-dimensions.

研究动机与目标

• 为高斯DAG模型开发统一的贝叶斯框架，其适用范围超越可分解或完美DAG的情形。
• 解决在非可分解DAG中对协方差矩阵和精度矩阵的弯曲流形上定义正则先验的挑战。
• 通过利用超马尔可夫性质和共轭先验，实现高维后验计算的可扩展性。
• 在高维设置下促进可扩展的模型选择和协方差估计。
• 将超逆Wishart分布和Letac-Massam的IW_P_G分布推广至任意DAG结构。

提出的方法

• 在协方差矩阵的Cholesky参数空间上定义一族共轭先验，每个DAG顶点对应一个形状参数。
• 在Cholesky空间上构建DAG-Wishart分布，确保强超马尔可夫性质，以实现后验计算的可处理性。
• 通过微分同胚将基于Cholesky的DAG-Wishart映射至不完整精度矩阵和协方差矩阵的空间，使其等价于欧氏空间。
• 推导出在精度和协方差参数化下DAG-Wishart的显式密度函数，从而实现后验矩的闭式表达。
• 使用矩阵填充算法，从未完全表示中恢复完整的精度矩阵和协方差矩阵。
• 将DAG-Wishart先验应用于高维DAG-Markov模型中的模型选择和协方差估计。

实验结果

研究问题

• RQ1 如何为具有任意DAG结构（非可分解或完美DAG）的高斯DAG模型构造共轭先验？
• RQ2 是否可以在非可分解DAG的协方差矩阵弯曲流形上定义先验分布，同时保持超马尔可夫性质？
• RQ3 与现有方法相比，所提出的DAG-Wishart先验在高维后验推断中的改进程度如何？
• RQ4 与Lasso-DAG等经典方法相比，DAG-Wishart先验在模型选择和协方差估计中的表现如何？
• RQ5 DAG-Wishart框架能否在包含数千个变量的高维问题中实现有效扩展？

主要发现

• DAG-Wishart分布是高斯DAG模型的共轭先验，且具备强超马尔可夫性质，可实现后验计算的闭式求解。
• 该方法在高维问题中表现出良好的可扩展性，模拟实验已验证至500个变量的情形。
• 在呼叫中心数据示例中，DAG-W-Precision估计器的均方误差（MSE）为123.438，显著低于Naive-MLE（172.976）和LassoDAG-MLE（166.138）。
• 在呼叫中心预测任务的全部51个时间区间中，DAG-W-MLE估计器均优于LassoDAG-MLE，表明其在模型选择方面表现更优。
• 在L1和L2损失度量下，DAG-Wishart先验下的贝叶斯估计器（尤其是DAG-W-Precision）在性能上持续优于MLE和Lasso-DAG。
• 所提出的框架将先前关于超逆Wishart和IW_P_G分布的工作推广至任意DAG结构，不再局限于完美DAG。