[论文解读] Bayes Regularized Graphical Model Estimation in High Dimensions

Suprateek Kundu, Veera Baladandayuthapani+1 more|arXiv (Cornell University)|Aug 19, 2013

Statistical Methods and Inference参考文献 40被引用 5

一句话总结

该论文提出了一种可扩展的贝叶斯图模型估计方法，用于高维数据，通过将模型拟合与协方差选择解耦。该方法在精度矩阵上使用连续收缩先验以实现共轭吉布斯抽样，随后通过联合惩罚可信区域进行拟合后的邻域选择，实现了渐近图选择一致性，并在模拟数据和真实癌症基因组学数据中优于其他贝叶斯竞争方法。

ABSTRACT

There has been an intense development of Bayes graphical model estimation approaches over the past decade - however, most of the existing methods are restricted to moderate dimensions. We propose a novel approach suitable for high dimensional settings, by decoupling model fitting and covariance selection. First, a full model based on a complete graph is fit under novel class of continuous shrinkage priors on the precision matrix elements, which induces shrinkage under an equivalence with Cholesky-based regularization while enabling conjugate updates of entire precision matrices. Subsequently, we propose a post-fitting graphical model estimation step which proceeds using penalized joint credible regions to perform neighborhood selection sequentially for each node. The posterior computation proceeds using straightforward fully Gibbs sampling, and the approach is scalable to high dimensions. The proposed approach is shown to be asymptotically consistent in estimating the graph structure for fixed $p$ when the truth is a Gaussian graphical model. Simulations show that our approach compares favorably with Bayesian competitors both in terms of graphical model estimation and computational efficiency. We apply our methods to high dimensional gene expression and microRNA datasets in cancer genomics.

研究动机与目标

• 解决由于图空间呈指数增长导致可逆跳跃MCMC在高维图模型中计算不可行的问题。
• 克服贝叶斯图lasso在高维设置下离散混合先验和启发式后处理的局限性。
• 开发一种可扩展、一致的贝叶斯方法，将精度矩阵估计与图结构选择分离。
• 在固定-p的高维设置下，确保高斯图模型的渐近选择一致性。
• 与现有贝叶斯方法相比，提升高维数据应用中的计算效率和估计准确性。

提出的方法

• 在完整图上使用精度矩阵元素的新一类连续收缩先验拟合完整图模型。
• 通过与基于Cholesky分解的正则化等价，实现整个精度矩阵的共轭吉布斯更新。
• 将过程分解为两个阶段：首先，使用收缩先验进行完整模型拟合；其次，进行拟合后的邻域选择。
• 通过每个节点的联合惩罚可信区域执行邻域选择，实现稀疏图估计。
• 使用直接的完全吉布斯抽样进行后验计算，确保可扩展至高维。
• 利用Cholesky分解的条件回归表示，将后验抽样与邻域选择联系起来。

实验结果

研究问题

• RQ1 在传统MCMC方法因图空间爆炸而失效的高维设置下，能否实现贝叶斯图模型的一致估计？
• RQ2 将精度矩阵估计与图结构选择解耦，是否能提升计算可扩展性和估计准确性？
• RQ3 精度矩阵上的连续收缩先验是否能实现共轭更新，同时保持选择一致性？
• RQ4 通过联合惩罚可信区域进行拟合后邻域选择的方法，在图结构恢复方面是否具有渐近一致性？
• RQ5 与现有贝叶斯竞争方法相比，该方法在高维数据上的图估计准确性和计算效率方面表现如何？

主要发现

• 当真实模型为高斯图模型且p固定时，所提方法在图结构上实现了渐近选择一致性。
• 模拟结果表明，该方法在图模型估计准确性和计算效率方面均优于现有贝叶斯竞争方法。
• 该方法可扩展至高维，已在癌症基因组学中的基因表达和microRNA数据集中成功应用。
• 使用连续收缩先验可实现共轭吉布斯更新，避免了复杂MCMC移动或后处理启发式方法的需求。
• 通过联合惩罚可信区域进行拟合后邻域选择，能以高概率有效恢复真实图结构，当n → ∞时。
• 该方法对先验敏感性表现出鲁棒性，并避免了在非分解图中使用G-威沙特分布或可逆跳跃MCMC的计算负担。