[论文解读] An approach to large-scale Quasi-Bayesian inference with spike-and-slab priors

Yves F. Atchadé, Anwesha Bhattacharyya|arXiv (Cornell University)|Mar 27, 2018

Bayesian Methods and Mixture Models参考文献 62被引用 6

一句话总结

本文提出了一种可扩展的拟贝叶斯推断框架，采用带有新型稀疏化技巧的尖峰-平滑先验，使高维设置下的高效MCMC和变分推断成为可能。关键贡献在于对后验收缩和变分近似精度的理论保证，并在高斯图模型和稀疏主成分分析中得到验证。

ABSTRACT

We propose a general framework using spike-and-slab prior distributions to aid with the development of high-dimensional Bayesian inference. Our framework allows inference with a general quasi-likelihood function. We show that highly efficient and scalable Markov Chain Monte Carlo (MCMC) algorithms can be easily constructed to sample from the resulting quasi-posterior distributions. We study the large scale behavior of the resulting quasi-posterior distributions as the dimension of the parameter space grows, and we establish several convergence results. In large-scale applications where computational speed is important, variational approximation methods are often used to approximate posterior distributions. We show that the contraction behaviors of the quasi-posterior distributions can be exploited to provide theoretical guarantees for their variational approximations. We illustrate the theory with some simulation results from Gaussian graphical models, and sparse principal component analysis.

研究动机与目标

• 通过用小方差高斯分布替代点质量尖峰-平滑先验，解决高维贝叶斯推断中点质量尖峰-平滑先验的计算不可行性。
• 提出一种通用的大规模拟贝叶斯推断框架，采用灵活的拟似然函数，适用于标准似然之外的场景。
• 建立当维度增长时，所得拟后验分布的理论收敛结果。
• 通过利用后验收缩行为，为变分近似提供理论依据。
• 通过高斯图模型和稀疏主成分分析中的模拟，展示方法的可扩展性和准确性。

提出的方法

• 使用带有高斯分量的尖峰-平滑先验：对活跃变量（δⱼ = 1）使用平滑分量（精度ρ₁），对非活跃变量（δⱼ = 0）使用尖峰分量（精度ρ₀ → 0），并用小方差高斯分布替代点质量。
• 在后验中引入一种稀疏化的拟似然ℓ(θ₆; z)，其中θ₆是θ与δ的逐元素乘积，以提升统计性能，同时保持计算速度。
• 通过条件更新δ和θ，结合正态和伯努利提议及Metropolis-Hastings校正，构建可扩展的Gibbs采样器以实现后验抽样。
• 基于均场模板开发变分近似（VA）算法，更新α（包含概率）、μ（均值）和C（协方差），利用固定支撑模板δ^(i)。
• 利用Bernstein-von Mises近似，证明后验的渐近正态性，并支持变分近似的一致性。
• 利用稀疏化技巧，通过仅在似然评估中关注活跃变量，降低MCMC的计算成本。

实验结果

研究问题

• RQ1 在高维模型中，带有尖峰-平滑先验的稀疏化拟似然是否能实现更快、更可扩展的MCMC采样？
• RQ2 在何种条件下，拟后验会集中在真实稀疏参数及其支撑上？
• RQ3 后验收缩率如何用于在高维设置下证明变分近似的准确性？
• RQ4 所提出的框架在实现可扩展计算的同时，是否保持了最优的频派性质（如变量选择一致性）？
• RQ5 在高斯图模型和稀疏主成分分析等真实世界模型中，所提出的MCMC与变分算法在计算效率和估计精度方面如何比较？

主要发现

• 在拟似然中引入稀疏化技巧，显著加速了MCMC计算，通过减少似然评估中活跃变量的数量。
• 理论结果表明，在强信号条件下，拟后验以接近最优的速率收缩到真实参数（δ⋆, θ⋆）。
• 利用后验收缩率，推导出真实后验与变分近似之间Kullback-Leibler散度的非渐近界。
• 变分近似实现了对支撑和参数值的一致估计，在温和正则性条件下，其收敛速率与真实后验一致。
• 在高斯图模型和稀疏主成分分析中的模拟结果表明，所提出的MCMC和变分算法在高维情形下仍保持高精度和计算效率。
• 该方法实现了近似最优的变量选择性能，随着维度p增大，后验质量逐渐集中在真实支撑δ⋆上。