[论文解读] Generalized Hyper Markov laws for directed acyclic graphs

Emanuel Ben‐David, Bala Rajaratnam|arXiv (Cornell University)|Sep 20, 2011

Bayesian Modeling and Causal Inference被引用 3

一句话总结

本文引入了DAG-Wishart分布——高斯有向无环图（DAG）模型的共轭先验——其将超马尔可夫律推广至任意DAG。通过利用Cholesky参数化方法，该方法实现了高效的协方差与精度矩阵估计，并具备强超马尔可夫性质，支持可扩展的高维模型选择与推断。

ABSTRACT

In this paper, we consider Gaussian models Markov with respect to an arbitrary DAG. We first construct a family of conjugate priors for the Cholesky parametrization of the covariance matrix of such models. This family has as many shape parameters as the DAG has vertices, and naturally extends the work of Geiger and Heckerman [8]. From these distributions, we derive prior distributions for the covariance and precision parameters of the Gaussian DAG Markov models. Our works thus extends the work of Dawid and Lauritzen [5] and Letac and Massam [16] for Gaussian models Markov with respect to a decomposable graph to arbitrary DAGs. For this reason, we call our distributions DAG-Wishart distributions. An advantage of these distributions is that they possess strong hyper Markov properties and thus allow for explicit estimation of the covariance and precision parameters, regardless of the dimension of the problem. They also allow us to develop methodology for model selection and covariance estimation in the space of DAG-Markov models. We demonstrate via several numerical examples that the proposed method scales well to high-dimensions.

研究动机与目标

• 将高斯图模型的共轭先验从可分解图扩展至任意有向无环图（DAG）。
• 为DAG-马尔可夫模型中的协方差与精度矩阵构建一族先验分布，使其保持强超马尔可夫性质。
• 无论模型维度如何，均能实现协方差与精度参数的显式估计。
• 通过一个合理的先验框架，支持在DAG-马尔可夫模型空间中进行模型选择与协方差估计。

提出的方法

• 为协方差矩阵的Cholesky分解构建一族共轭先验，其参数化方式为DAG中每个顶点对应一个形状参数。
• 从基于Cholesky的先验族中推导出协方差矩阵与精度矩阵的先验分布。
• 证明所得到的DAG-Wishart分布满足强超马尔可夫性质，确保共轭性并支持可处理的后验计算。
• 利用DAG的结构定义条件独立性约束，以指导先验设定，并确保与图的马尔可夫性质相容。
• 利用共轭结构实现后验的解析更新，并支持高维推断中的高效采样或优化。
• 通过涉及具有复杂条件独立结构的高维DAG模型的数值示例，展示其可扩展性。

实验结果

研究问题

• RQ1 如何为具有任意图结构的高斯DAG模型（超越可分解情形）构建共轭先验？
• RQ2 何种性质的先验分布可确保在非可分解DAG中保持强超马尔可夫行为？
• RQ3 能否构建一个先验框架，以支持高维DAG-马尔可夫模型中协方差与精度参数的估计？
• RQ4 此类先验在高维设置下，能在多大程度上实现高效的模型选择与后验计算？

主要发现

• 所提出的DAG-Wishart分布将Dawid与Lauritzen [5] 以及Letac与Massam [16] 的工作从可分解图推广至任意DAG。
• 该先验族的形状参数数量与DAG的顶点数相同，支持灵活且结构化的先验设定。
• 该分布具备强超马尔可夫性质，确保后验更新能保持条件独立性约束，并支持显式估计。
• 通过涉及复杂DAG结构的数值示例，证明该方法在高维问题中具有良好的可扩展性。
• 该框架在统一的共轭贝叶斯框架下，支持DAG-马尔可夫模型中协方差与精度矩阵的估计。
• 该方法通过在参数空间上提供一致的先验分布，支持在DAG-马尔可夫模型空间中实现稳健的模型选择。