[論文レビュー] Predictive variational inference for flexible regression models

Lucas Kock, Scott A. Sisson+2 more|arXiv (Cornell University)|Feb 26, 2026

Gaussian Processes and Bayesian Inference被引用数 0

ひとこと要約

Paper は Gaussian mixture predictive variational inference (GM-PVI) と、その共変量依存拡張 (VGM-PVI) を用いた柔軟な回帰モデルを提案し、GM-PVI を mixture-of-experts の予測と結びつけ、共変量依存のポスターリオ設を用いてミススペシフィケーション下で予測性能とモデル診断を改善する。

ABSTRACT

A conventional Bayesian approach to prediction uses the posterior distribution to integrate out parameters in a density for unobserved data conditional on the observed data and parameters. When the true posterior is intractable, it is replaced by an approximation; here we focus on variational approximations. Recent work has explored methods that learn posteriors optimized for predictive accuracy under a chosen scoring rule, while regularizing toward the prior or conventional posterior. Our work builds on an existing predictive variational inference (PVI) framework that improves prediction, but also diagnoses model deficiencies through implicit model expansion. In models where the sampling density depends on the parameters through a linear predictor, we improve the interpretability of existing PVI methods as a diagnostic tool. This is achieved by adopting PVI posteriors of Gaussian mixture form (GM-PVI) and establishing connections with plug-in prediction for mixture-of-experts models. We make three main contributions. First, we show that GM-PVI prediction is equivalent to plug-in prediction for certain mixture-of-experts models with covariate-independent weights in generalized linear models and hierarchical extensions of them. Second, we extend standard PVI by allowing GM-PVI posteriors to vary with the prediction covariate and in this case an equivalence to plug-in prediction for mixtures of experts with covariate-dependent weights is established. Third, we demonstrate the diagnostic value of this approach across several examples, including generalized linear models, linear mixed models, and latent Gaussian process models, demonstrating how the parameters of the original model must vary across the covariate space to achieve improvements in prediction.

研究の動機と目的

• モデル誤pecification の下で Predictive Variational Inference (PVI) による予測精度の向上。
• 回帰モデルのための Gaussian mixture PVI (GM-PVI) ポスターリオを導入し、混合専門家モデルの予測密度がプラグイン予測に縮約されることを示す。
• GM-PVI ポスターリオが予測変数に依存して変化できるようにし（VGM-PVI）、共変量依存の重みを可能にしてモデル批判を強化。
• 予測改善のために共変量ごとにモデルパラメータがいかに変化すべきかを検討し、モデルの欠陥に関する診断的洞察を提供する。
• 一般化線形モデル、線形混合モデル、潜在ガウス過程モデルにわたって手法を実証する。

提案手法

• GM-PVI 後方分布を qλ(θ)=∑kωk N(θ;μk,Σk) というガウス混合として定義。
• GLM に対して 予測密度の混合として qλ(ỹ|x̃) を導出し、ヘテロスケダスティック回帰成分を含むプラグイン予測を可能にする。
• GLMs における共変量依存性の重みを前提とする混合専門家モデルとの GM-PVI 予測とプラグイン予測の等価性を確立し、共変量依存の重みへ拡張する（VGM-PVI）。
• VGM-PVI は混合重み ωk(x̃)=exp(x̃⊤ηk)/∑l exp(x̃⊤ηl) を用いて予測共変量に依存させ、共変量の平均 PVI ポスターリオに基づく正則化項を定義する。
• 最適化目的関数（予測スコアリング＋KL 正則化）を定式化し、勾配上昇法（Adam）で λ を解析的または数値積分ベースの期待値を用いて計算する。
• GLMs での積分を Gauss-Hermite により評価し、一般的なリンク関数に対して閉形式的に近い更新を可能にする。
• 実用的な混合成分選択のヒューリスティックを提供（初期化は最大 K=10、重みが無視できる成分を削除）。

実験結果

リサーチクエスチョン

• RQ1 GM-PVI は共変量依存性の重みを持つ mixt ure-of-experts モデルのプラグイン予測とどのように関連するか？
• RQ2 GM-PVI を共変量依存の重み (VGM-PVI) に拡張するとどうなるか、共変量依存の重みを持つ experts の混合との等価性は何か？
• RQ3 VGM-PVI は元の回帰モデルが予測性能を改善するために共変量ごとにどこで変化すべきかを特定する診断ツールになり得るか？
• RQ4 GM-PVI および VGM-PVI は一般化線形モデル、線形混合モデル、潜在ガウス過程モデルの各領域で予測精度とモデル批判の観点でどのように機能するか？

主な発見

FPR	VGM-PVI (β=0.01)	VGM-PVI (β=0.5)	VGM-PVI (β=1.0)	VGM-PVI (β=100)	Posterior predictive
0.01	0.3185	0.2520	0.2043	0.0827	0.0775
0.02	0.4029	0.3549	0.3182	0.1717	0.1700
0.05	0.5787	0.5518	0.5161	0.3295	0.3194
0.10	0.7396	0.6993	0.6964	0.5173	0.5115
0.20	0.8940	0.8422	0.8501	0.7350	0.7271

• GM-PVI の予測は、共変量依存性の重みを持つ混合専門家モデルのプラグイン予測と一致する GLM において。
• 予測変数と共変量依存の重みを持つ GM-PVI（VGM-PVI）を許すと、共変量依存の重みを持つ専門家の混合と等価になり、誤指定モデルの予測有用性が高まる。
• VGM-PVI はロジスティック、ガンマ・望遠、AIDS ポアソンカウント設定で従来の事後予測よりも顕著な予測改善を提供し、パラメータが共変量に応じてどのように変化すべきかという診断的洞察を提示する。
• Gamma telescope 研究では、β が小さい場合（例: β=0.01）に FPR が低い閾値で TPR が改善され、標準的な事後予測に比べて最大約4倍の利得がある。
• シミュレーションと実データの例では、WAIC またはベイズ最適化を介してペナルティ β を調整すると、通常の事後予測より良い予測性能を示す小さな β が得られる。
• 各例を通じて、共変量に応じて変化する混合重みが、単純な GLM では捉えられない依存性やクロス特徴相互作用を捉えることを示す。