[论文解读] Bayesian Inference in Sparse Gaussian Graphical Models

Peter Orchard, Felix Agakov+1 more|arXiv (Cornell University)|Sep 27, 2013

Gaussian Processes and Bayesian Inference参考文献 26被引用 6

一句话总结

本文提出了两种高效贝叶斯推断方法，用于稀疏高斯图模型：一种优化的块吉布斯采样器和一种针对 GWishart 分布的新型哈密顿蒙特卡洛（HMC）采样器。HMC 方法在混合速度和有效样本量方面显著优于块吉布斯采样器，实现了更快的收敛速度，使得完全贝叶斯推断在相同计算预算下，其预测准确性优于频繁似然图模型选择方法，即使在计算资源受限的情况下也表现更优。

ABSTRACT

One of the fundamental tasks of science is to find explainable relationships between observed phenomena. One approach to this task that has received attention in recent years is based on probabilistic graphical modelling with sparsity constraints on model structures. In this paper, we describe two new approaches to Bayesian inference of sparse structures of Gaussian graphical models (GGMs). One is based on a simple modification of the cutting-edge block Gibbs sampler for sparse GGMs, which results in significant computational gains in high dimensions. The other method is based on a specific construction of the Hamiltonian Monte Carlo sampler, which results in further significant improvements. We compare our fully Bayesian approaches with the popular regularisation-based graphical LASSO, and demonstrate significant advantages of the Bayesian treatment under the same computing costs. We apply the methods to a broad range of simulated data sets, and a real-life financial data set.

研究动机与目标

• 开发更快、更高效的稀疏高斯图模型（GGM）贝叶斯推断方法，以超越基于正则化的频繁似然方法（如图模型选择）的性能。
• 解决 GWishart 采样中的计算瓶颈问题，从而在高维设置下实现可扩展的贝叶斯 GGM 推断。
• 证明，即使在时间约束相同的情况下，利用完整后验分布的完全贝叶斯方法在预测性能上仍优于图模型选择等基于 MAP 的方法。
• 通过定制化的 MCMC 技术提升采样效率，使复杂、高维的贝叶斯 GGM 在实际中更具可用性。

提出的方法

• 提出一种改进的块吉布斯采样器，通过优化覆盖集的选择策略，减少计算开销，提升高维 GGM 推断的效率。
• 为 GWishart 分布设计了一种哈密顿蒙特卡洛（HMC）采样器，通过精心选择的质量矩阵提升混合效率并降低样本间相关性。
• 在 HMC 中采用对角质量矩阵，使其在不同 GWishart 分布中均具有良好适应性，从而减少对步长参数重新调优的需求。
• 将 HMC 采样器集成到图结构与精度矩阵的联合后验采样框架中，实现对模型结构和参数的完全贝叶斯推断。
• 利用 HMC 和块吉布斯采样器计算测试对数似然的后验期望，并在相同时间预算下与图模型选择方法比较预测性能。
• 采用步长自适应策略，将接受率维持在 Neal（2010）推荐的约 65%，以确保对后验分布的高效探索。

实验结果

研究问题

• RQ1 在相同计算预算下，稀疏 GGM 的贝叶斯推断能否在预测准确性上超越图模型选择方法？
• RQ2 如何提升 GWishart 采样效率，以实现在高维设置下可扩展的完全贝叶斯 GGM 推断？
• RQ3 在高波动性或复杂依赖结构下，使用完整后验分布的贝叶斯 GGM 是否优于图模型选择所采用的 MAP 估计？
• RQ4 能否有效设计针对 GWishart 分布的哈密顿蒙特卡洛采样器？其在有效样本量和收敛速度方面是否显著优于块吉布斯采样器？
• RQ5 在真实金融数据上，所提出的采样器表现如何，特别是在市场波动期间捕捉结构变化的能力如何？

主要发现

• HMC 采样器在每秒有效样本量（ESS）上显著高于块吉布斯采样器，表明其混合速度更快，对后验分布的探索更高效。
• 当图模型选择完成计算时，贝叶斯 HMC 方法的测试对数似然为 $(-5.19 \pm 0.33) \times 10^4$，显著优于图模型选择的 $(-6.28 \pm 0.51) \times 10^4$。
• 在市场波动较高的时期，贝叶斯 GGM 表现优于图模型选择，如对数似然差异图叠加 VIX 指数所示。
• 通过优化覆盖集选择策略，块吉布斯采样器的实用性得到提升，减少了图更新过程中最大团重新计算的时间开销。
• 贝叶斯模型利用完整后验分布而非仅 MAP 解，使得预测在非平稳或高方差条件下更具鲁棒性和准确性。
• 由于采用对角质量矩阵，HMC 采样器在不同 GWishart 分布下性能稳定，可复用步长参数而无需大量调优。