[论文解读] Bayesian Bootstrap Spike-and-Slab LASSO

Lizhen Nie, Veronika Ročková|arXiv (Cornell University)|Nov 29, 2020

Gaussian Processes and Bayesian Inference参考文献 47被引用 6

一句话总结

本文提出贝叶斯引导的斯皮克-斯拉布套索（BB-SSL），一种用于高维线性回归中近似后验抽样的可扩展方法，通过在多个重采样数据集上执行MAP优化实现。BB-SSL实现了接近最优的后验收缩率，在模拟和真实数据中均优于传统的MCMC和收缩方法，同时在保持强大的不确定性量化的同时实现了显著的计算优势。

ABSTRACT

The impracticality of posterior sampling has prevented the widespread adoption of spike-and-slab priors in high-dimensional applications. To alleviate the computational burden, optimization strategies have been proposed that quickly find local posterior modes. Trading off uncertainty quantification for computational speed, these strategies have enabled spike-and-slab deployments at scales that would be previously unfeasible. We build on one recent development in this strand of work: the Spike-and-Slab LASSO procedure of Ročková and George (2018). Instead of optimization, however, we explore multiple avenues for posterior sampling, some traditional and some new. Intrigued by the speed of Spike-and-Slab LASSO mode detection, we explore the possibility of sampling from an approximate posterior by performing MAP optimization on many independently perturbed datasets. To this end, we explore Bayesian bootstrap ideas and introduce a new class of jittered Spike-and-Slab LASSO priors with random shrinkage targets. These priors are a key constituent of the Bayesian Bootstrap Spike-and-Slab LASSO (BB-SSL) method proposed here. BB-SSL turns fast optimization into approximate posterior sampling. Beyond its scalability, we show that BB-SSL has a strong theoretical support. Indeed, we find that the induced pseudo-posteriors contract around the truth at a near-optimal rate in sparse normal-means and in high-dimensional regression. We compare our algorithm to the traditional Stochastic Search Variable Selection (under Laplace priors) as well as many state-of-the-art methods for shrinkage priors. We show, both in simulations and on real data, that our method fares superbly in these comparisons, often providing substantial computational gains.

研究动机与目标

• 解决在高维设置下使用斯皮克-斯拉布先验进行完整后验抽样时的计算不可行性问题。
• 开发一种可扩展的MCMC后验抽样替代方法，同时保留不确定性量化能力。
• 利用斯皮克-斯拉布套索中MAP优化的速度优势，同时近似完整后验推断。
• 为所提出方法的后验收缩行为建立理论保证。

提出的方法

• 提出一种贝叶斯引导框架，通过从狄利克雷分布中抽取权重，对原始数据进行重采样，生成多个扰动数据集。
• 对每个重采样后的数据集应用MAP优化（通过斯皮克-斯拉布套索）以生成近似后验样本。
• 引入带有随机收缩目标的抖动型斯皮克-斯拉布套索先验，以稳定各次重采样复制中的估计结果。
• 在所有重采样样本中使用单一固定的斯皮克精度参数 $\lambda_0$，其初始值来自原始数据上的SSLASSO解。
• 基于重采样MAP估计的经验分布构建伪后验，以近似真实后验。
• 该方法计算高效，避免了昂贵的矩阵求逆和MCMC混合问题。

实验结果

研究问题

• RQ1 在重采样数据上进行快速MAP优化，能否可靠地近似斯皮克-斯拉布先验下的真实后验分布？
• RQ2 所提出的BB-SSL方法在高维稀疏回归中是否能实现接近最优的后验收缩率？
• RQ3 与传统MCMC方法（如随机搜索变量选择，SSVS）相比，BB-SSL在计算速度和推断准确性方面表现如何？
• RQ4 引导参数 $\alpha$ 对后验方差和估计稳定性有何影响？
• RQ5 在预测变量之间存在高度相关性时，BB-SSL能否保持良好性能，而MCMC方法常会陷入局部极值？

主要发现

• BB-SSL在稀疏正态均值模型和高维回归模型中均实现了接近最优的后验收缩率。
• 在具有块状相关性和等相关结构的模拟中，当初始化接近真实值时，BB-SSL的后验近似与SSVS极为接近，甚至在高相关性设置下优于SSVS。
• BB-SSL相较于基于MCMC的方法实现了显著的计算优势，具有更快的收敛速度和更少的混合问题。
• 该方法在不同引导参数 $\alpha$ 值下均保持稳定的后验方差，且当 $\alpha > 1000$ 后收益递减。
• 在真实数据（如耐用消费品营销数据集）上，BB-SSL生成了可靠的后验估计和与MCMC基准一致的可信区间。
• BB-SSL在模拟和现实世界应用中均优于最先进的收缩先验，尤其在高维和相关性强的场景下表现更优。