[论文解读] Mean-field Variational Bayes for Sparse Probit Regression

Augusto Fasano, Giovanni Rebaudo|arXiv (Cornell University)|Jan 29, 2026

Gaussian Processes and Bayesian Inference被引用 0

一句话总结

本论文为带尖刺-板块先验的贝叶斯稀疏 probit 回归开发了 mean-field 变分贝叶斯（MFVB）方法，提供闭式更新与快速坐标上升算法，在准确性上接近 MCMC，但速度数量级提升。

ABSTRACT

We consider Bayesian variable selection for binary outcomes under a probit link with a spike-and-slab prior on the regression coefficients. Motivated by the computational challenges encountered by Markov chain Monte Carlo (MCMC) samplers in high-dimensional regimes, we develop a mean-field variational Bayes approximation in which all variational factors admit closed-form updates, and the evidence lower bound is available in closed form. This, in turn, allows the development of an efficient coordinate ascent variational inference algorithm to find the optimal values of the variational parameters. The approach produces posterior inclusion probabilities and parameter estimates, enabling interpretable selection and prediction within a single framework. As shown in both simulated and real data applications, the proposed method successfully identifies the important variables and is orders of magnitude faster than MCMC, while maintaining comparable accuracy.

研究动机与目标

• 在带稀疏性先验的 probit 链接下，为二元结果的贝叶斯变量选择提供动机。
• 开发一个包含所有因子闭式更新的 MFVB 近似。
• 推导一个坐标上升变分推断（CAVI）算法以估计变分参数。
• 在模拟数据和真实数据上评估性能，以比较与 MCMC 的速度与准确性。

提出的方法

• 提出后验 p(β,z,γ|y) 的因子分解 q(β)q(z)∏q(γj)。
• 推导 q(β) 为一个 p 维高斯，均值为 μ，协方差为 Σ，依赖于 G=X'X 与 Ω=E[γγᵀ]。
• 推导 q(z) 作为独立的截断高斯，其均值为 m_i，矩的计算遵循截断高斯公式。
• 推导 q(γj) 为伯努利分布(Bernoulli)(wj)，其中 wj=expit(ηj)，ηj 依赖于 μ、Σ，以及 z 与 γ 的期望（式(6)）。
• 给出 CAVI 算法的更新流程，迭代更新 (μ,Σ)、(z̄) 与 (w) 直到收敛（ELBO 稳定）。
• 描述通过交叉验证及标准化预测变量进行 ν² 与 ρ 的数据驱动超参数调优。

Figure 1 : For $p=200$ , $n=1000$ , posterior inclusion probabilities (PIPs) as a function of the true parameter values $\gamma_{j}^{0}\beta_{j}^{0}$ estimated by MCMC and MFVB across the $50$ simulated datasets. For graphical purposes, the distance between $0$ and $1$ is not to scale and we spread

实验结果

研究问题

• RQ1 MFVB 在带尖刺-板块先验的稀疏 probit 回归中，能否可靠地还原后验包含概率（PIPs）及效应量？
• RQ2 在低维情形（p≪n）和高维情形（p≫n）中，MFVB 相对 MCMC 在变量选择（TPR/TNR）、预测偏差和计算时间上的表现如何？
• RQ3 超参数（ν²、ρ）对模型稀疏性与预测性能有何影响？在实际中应如何选择？
• RQ4 在真实数据（LSVT 语音数据集）上的 MFVB 结果是否与基于 MCMC 的推断一致，并提供更简约但同样准确的解？

主要发现

• MFVB 在所测试的设置中，运行时间比 MCMC 快 2–3 个数量级。
• 在 p≪n 的设置中，MFVB 与 MCMC 的变量选择和样本外偏离度几乎完全一致。
• 在 p≫n 的设置中，MFVB 仍然具有高度选择性（更简约），PIPs 往往向 0 或 1 极化，而 MCMC 更保守，可能包含更多变量。
• 在模拟数据上，MFVB 的真阳性/真阴性率与 MCMC 相当，存在一些小差异，倾向于支持 MFVB 的稀疏性。
• 在真实数据（LSVT）应用中，MFVB 选择了八个变量（含截距），预测精度具有竞争力，且计算时间显著更短（约 1.8 秒 vs 约 2188 秒的 MCMC）。
• 总体而言，MFVB 提供一个连贯、可解释的单框架变量选择与预测方法，准确性与 MCMC 相当但速度有显著提升。

Figure 2 : For $p=1000,\ n=500$ , posterior inclusion probabilities (PIPs) as a function of the true parameter values $\gamma_{j}^{0}\beta_{j}^{0}$ estimated by MCMC and MFVB across the $20$ simulated datasets. For graphical purposes, the distance between $0$ and $1$ is not to scale and we spread th