[論文レビュー] Bayesian Bootstrap Spike-and-Slab LASSO

Lizhen Nie, Veronika Ročková|arXiv (Cornell University)|Nov 29, 2020

Gaussian Processes and Bayesian Inference参考文献 47被引用数 6

ひとこと要約

本稿では、スパイクアンドスラブラッソ（SSL）事前分布における高次元線形回帰における近似後部サンプリングのためのスケーラブルな手法、ベイジアンブートストラップスパイクアンドスラブラッソ（BB-SSL）を提案する。BB-SSLは、複数のブートストラップ再サンプルデータセット上でMAP最適化を実行することで、計算を高速化する。BB-SSLは近似的に最適な後部収縮レートを達成し、シミュレーションおよび実データにおいて、従来のMCMC法や縮小法を上回る性能を示す。計算コストの大幅な削減が達成される一方で、強い不確実性の定量化を維持する。

ABSTRACT

The impracticality of posterior sampling has prevented the widespread adoption of spike-and-slab priors in high-dimensional applications. To alleviate the computational burden, optimization strategies have been proposed that quickly find local posterior modes. Trading off uncertainty quantification for computational speed, these strategies have enabled spike-and-slab deployments at scales that would be previously unfeasible. We build on one recent development in this strand of work: the Spike-and-Slab LASSO procedure of Ročková and George (2018). Instead of optimization, however, we explore multiple avenues for posterior sampling, some traditional and some new. Intrigued by the speed of Spike-and-Slab LASSO mode detection, we explore the possibility of sampling from an approximate posterior by performing MAP optimization on many independently perturbed datasets. To this end, we explore Bayesian bootstrap ideas and introduce a new class of jittered Spike-and-Slab LASSO priors with random shrinkage targets. These priors are a key constituent of the Bayesian Bootstrap Spike-and-Slab LASSO (BB-SSL) method proposed here. BB-SSL turns fast optimization into approximate posterior sampling. Beyond its scalability, we show that BB-SSL has a strong theoretical support. Indeed, we find that the induced pseudo-posteriors contract around the truth at a near-optimal rate in sparse normal-means and in high-dimensional regression. We compare our algorithm to the traditional Stochastic Search Variable Selection (under Laplace priors) as well as many state-of-the-art methods for shrinkage priors. We show, both in simulations and on real data, that our method fares superbly in these comparisons, often providing substantial computational gains.

研究の動機と目的

• スパイクアンドスラブ事前分布を用いた高次元設定における完全な後部サンプリングの計算的非現実性に対処すること。
• 不確実性の定量化を保持しつつ、MCMCに基づく後部サンプリングの代替としてスケーラブルな手法を開発すること。
• スパイクアンドスラブラッソにおけるMAP最適化の高速性を活用しながら、完全な後部推論を近似すること。
• 提案手法の後部収縮行動に関する理論的保証を確立すること。

提案手法

• スパイクアンドスラブラッソ事前分布を用いた、ディリクレ分布から抽出された重みを用いた再サンプリングにより、複数の摂動を加えたデータセットを生成するベイジアンブートストラップフレームワークを提案する。
• 各ブートストラップ再サンプルデータセットに対して、MAP最適化（Spike-and-Slab LASSOを用いて）を適用し、近似後部サンプルを生成する。
• 推定の安定化を図るため、ランダムな縮小ターゲットを備えたジャマーディスパイクアンドスラブラッソ事前分布を導入する。
• ブートストラップサンプル全体で同一のスパイク精度パラメータ $\lambda_0$ を使用する。初期値は元のデータに対するSSLASSO解から得る。
• ブートストラップMAP推定値の経験的分布に基づく擬似後部分布を用いて、真の後部分布を近似する。
• この手法は計算的に効率的であり、高価な行列逆行列計算やMCMCの混合問題を回避する。

実験結果

リサーチクエスチョン

• RQ1 ブートストラップ再サンプルデータ上で高速なMAP最適化が、スパイクアンドスラブ事前分布下での真の後部分布の信頼性のある近似をもたらすか？
• RQ2 提案されたBB-SSL手法は、高次元スパース回帰において、近似的に最適な後部収縮レートを達成するか？
• RQ3 計算速度と推論精度の観点から、BB-SSLは従来のMCMC法（例：Stochastic Search Variable Selection（SSVS））と比べてどのように異なるか？
• RQ4 ブートストラップパラメータ $\alpha$ が後部分散および推定の安定性に与える影響は何か？
• RQ5 MCMC法が局所最適解に閉じ込められがちな高相関の予測子が存在する状況でも、BB-SSLは強固な性能を維持できるか？

主な発見

• BB-SSLは、スパース正規平均モデルおよび高次元回帰モデルの両方で、近似的に最適な後部収縮レートを達成する。
• ブロック構造および等相関構造を有するシミュレーションにおいて、真の値に近い初期化がなされた場合、BB-SSLはSSVSの後部近似を密接に再現する。特に高相関設定ではSSVSを上回る性能を示す。
• BB-SSLはMCMCベースの手法に比べて顕著な計算上の利点を示し、収束が早く、混合問題も軽減される。
• ブートストラップパラメータ $\alpha$ の値に関わらず、後部分散が安定しており、$\alpha = 1000$ を超えると利得が減少する。
• 実データ（例：耐久消費財マーケティングデータセット）においても、BB-SSLは信頼性の高い後部推定値とMCMCベンチマークと整合する信用区間を生成する。
• 特に高次元かつ相関の高い状況において、BB-SSLはシミュレーションおよび実世界の応用において、最先端の縮小事前分布を上回る性能を示す。