[论文解读] An empirical $G$-Wishart prior for sparse high-dimensional Gaussian graphical models

Chang Liu, Ryan Martin|arXiv (Cornell University)|Dec 9, 2019

Statistical Methods and Inference参考文献 39被引用 9

一句话总结

本文提出了一种经验性 $G$-Wishart 先验，用于稀疏高维高斯图形模型，其中先验众数由数据决定，以实现对归一化常数的精确 Laplace 近似。该方法实现了快速、可扩展的后验计算，并达到了最优的后验集中率，显著提升了现有方法在计算效率和准确性方面的表现。

ABSTRACT

In Gaussian graphical models, the zero entries in the precision matrix determine the dependence structure, so estimating that sparse precision matrix and, thereby, learning this underlying structure, is an important and challenging problem. We propose an empirical version of the $G$-Wishart prior for sparse precision matrices, where the prior mode is informed by the data in a suitable way. Paired with a prior on the graph structure, a marginal posterior distribution for the same is obtained that takes the form of a ratio of two $G$-Wishart normalizing constants. We show that this ratio can be easily and accurately computed using a Laplace approximation, which leads to fast and efficient posterior sampling even in high-dimensions. Numerical results demonstrate the proposed method's superior performance, in terms of speed and accuracy, across a variety of settings, and theoretical support is provided in the form of a posterior concentration rate theorem.

研究动机与目标

• 解决由于 $G$-Wishart 先验中归一化常数难以计算而导致的高维高斯图形模型计算瓶颈。
• 开发一种基于数据的先验，使其在图形锥体上的最大似然估计器处集中，以提高近似精度。
• 通过即使在先验精度参数较小时也能保证 Laplace 近似可靠的特性，实现在高维空间中的高效后验采样。
• 为所提出的经验证先验框架下的后验集中率提供理论支持。
• 在稀疏精度矩阵估计方面，相较于现有贝叶斯方法，在速度、准确性和可扩展性方面实现改进。

提出的方法

• 提出一种经验性 $G$-Wishart 先验，作为图 $G$ 上的混合分布，其中每个分量的众数等于在特定图 $G$ 对应的锥体 $\mathcal{P}_G$ 内精度矩阵的最大似然估计。
• 对精度矩阵空间施加筛法限制，以确保特征值有界并控制近似误差。
• 使用 Laplace 近似来计算 $G$-Wishart 归一化常数的比值，该比值出现在图结构的边际后验中。
• 围绕众数对对数似然进行二阶泰勒展开，并利用谱范数和矩阵扰动理论来界定余项。
• 应用 Woodbury 公式和算子范数的次乘性来控制归一化常数 Laplace 近似中的误差。
• 通过谱分解和特征值有界性，界定 $\widehat{\Omega}^{-1}\Omega$ 的迹，从而建立后验集中率定理。

实验结果

研究问题

• RQ1 能否构造一种基于数据的 $G$-Wishart 先验，使其归一化常数可被精确的 Laplace 近似所处理？
• RQ2 该经验先验是否能实现高维稀疏高斯图形模型中更快、更准确的后验采样？
• RQ3 在稀疏性假设下，所提出的经验证 $G$-Wishart 先验的后验集中率是多少？
• RQ4 与频率学派的图形 lasso 及其他贝叶斯方法相比，该方法在计算速度和估计准确性方面表现如何？
• RQ5 能否为具有数据依赖众数的经验先验建立后验集中率的理论保证？

主要发现

• 所提出的经验证 $G$-Wishart 先验通过 $G$-Wishart 归一化常数比值的 Laplace 近似，实现了快速且准确的后验计算。
• 该方法达到了最优的后验集中率，与在稀疏性假设下图形 lasso 的收敛速率一致。
• 数值结果表明，在各种高维设置下，该方法在速度和准确性方面均表现出优越性能。
• Laplace 近似中的余项被控制在 $O(\|\Delta\|_2^3)$ 和 $O(\|\Delta\|_2^4)$ 之内，确保了近似的高精度。
• $\widehat{\Omega}^{-1}\Omega$ 的迹被限定在 $\xi^{-1}\mathrm{tr}(\Omega)$ 和 $\xi\mathrm{tr}(\Omega)$ 之间，其中 $\xi$ 控制了众数估计器的特征值展布。
• 理论分析证实，即使先验不够扩散，由于基于数据的中心化，该经验先验也不会对后验造成偏差。