[論文レビュー] Mean-field Variational Bayes for Sparse Probit Regression

Augusto Fasano, Giovanni Rebaudo|arXiv (Cornell University)|Jan 29, 2026

Gaussian Processes and Bayesian Inference被引用数 0

ひとこと要約

この論文は、スパイクとスラブ事前分布を用いたベイズ的希 sparse Probit 回归に対する平均場変分ベイズ（MFVB）アプローチを開発し、閉形式の更新式と高速な座標上昇アルゴリズムを提供します。精度はMCMCとほぼ同等でありながら、数オーダー速度が速い。

ABSTRACT

We consider Bayesian variable selection for binary outcomes under a probit link with a spike-and-slab prior on the regression coefficients. Motivated by the computational challenges encountered by Markov chain Monte Carlo (MCMC) samplers in high-dimensional regimes, we develop a mean-field variational Bayes approximation in which all variational factors admit closed-form updates, and the evidence lower bound is available in closed form. This, in turn, allows the development of an efficient coordinate ascent variational inference algorithm to find the optimal values of the variational parameters. The approach produces posterior inclusion probabilities and parameter estimates, enabling interpretable selection and prediction within a single framework. As shown in both simulated and real data applications, the proposed method successfully identifies the important variables and is orders of magnitude faster than MCMC, while maintaining comparable accuracy.

研究の動機と目的

• バイナリ結果のベイズ変数選択を、スパース性を誘導する事前分布の下で動機づける。
• すべての因子に閉形式の更新を持つMFVB近似を開発する。
• 変分パラメータを推定するための座標上昇変分推論（CAVI）アルゴリズムを導出する。
• シミュレーションおよび実データで性能を評価し、MCMCと比較して速度と精度を比較する。

提案手法

• 事後分布 p(β,z,γ|y) に対して q(β)q(z)∏q(γj) のMFVB因子分解を提案する。
• q(β) を μ を平均、Σ を共分散とする p 次元ガウス分布として導出する。Σ は G=X'X、Ω=E[γγᵀ] に依存する。
• q(z) を平均 m_i、モーメントを切断ガウス公式で与える独立な切断ガウスとして導出する。
• q(γj) を wj=expit(ηj) のベルヌーイ分布 Bernoulli(wj) として導出する。ηj は μ, Σ、および z と γ の期待値に依存する（式(6)）。
• 収束まで μ,Σ, z̄, w を更新する CAVI アルゴリズムを概説し、ELBO の安定化を図る。
• ν² および ρ のデータ駆動型ハイパーパラメータ調整を、交差検証と標準化された予測子を用いて記述する。

Figure 1 : For $p=200$ , $n=1000$ , posterior inclusion probabilities (PIPs) as a function of the true parameter values $\gamma_{j}^{0}\beta_{j}^{0}$ estimated by MCMC and MFVB across the $50$ simulated datasets. For graphical purposes, the distance between $0$ and $1$ is not to scale and we spread

実験結果

リサーチクエスチョン

• RQ1 MFVB はスパイク-アンド-スラブ事前分布を持つ希 sparse Probit 回帰の後方包含確率（PIP）と効果量を信頼性高く回復できるか。
• RQ2 低次元域（p≪n）および高次元域（p≫n）で、変数選択（TPR/TNR）、予測デヴィアンス、計算時間において MFVB は MCMC とどのように比較されるか。
• RQ3 ハイパーパラメータ（ν², ρ）がモデルのスパーシティと予測性能に与える影響は何か、実務的にはどのように選ぶべきか。
• RQ4 実データ（LSVT 音声データセット）に対する MFVB の結果は MCMC ベースの推論と一致し、より簡潔でありながら正確な解を提供するか。

主な発見

• MFVB は検証された設定全体で MCMC より 2–3 桁の高速化を達成する。
• p≪n の設定では、MFVB と MCMC は実質的に同一の変数選択とアウトオブサンプルデヴィアンスを示す。
• p≫n の設定では、MFVB は依然として非常に選択的で（より簡潔）、PIP は 0 または 1 に極化する傾向があり、MCMC はより保守的でより多くの変数を含む可能性がある。
• シミュレーションデータ上、MFVB の真陽性/偽陰性率は MCMC と比較してほぼ同等で、MFVB のスパリティを favor する小さな差異がある。
• LSVT の実データ適用では、MFVB は 8 変数（切片を含む）を選択し、予測精度は競争的であり、計算時間は大幅に短縮される（≈1.8s 対 ≈2188s）。
• 総じて、MFVB は MCMC と同程度の精度を保ちつつ、変数選択と予測のための一貫した解法を提供し、劇的な速度向上を実現する。

Figure 2 : For $p=1000,\ n=500$ , posterior inclusion probabilities (PIPs) as a function of the true parameter values $\gamma_{j}^{0}\beta_{j}^{0}$ estimated by MCMC and MFVB across the $20$ simulated datasets. For graphical purposes, the distance between $0$ and $1$ is not to scale and we spread th