[论文解读] Nearly optimal Bayesian Shrinkage for High Dimensional Regression

Qifan Song, Faming Liang|arXiv (Cornell University)|Dec 24, 2017

Statistical Methods and Inference参考文献 51被引用 49

一句话总结

该论文针对一类集中在零附近的重尾、平尾收缩先验，建立了高维线性回归的后验一致性及近乎最优的收缩率。研究表明，这类先验可实现类似脊柱-板（spike-and-slab）的理论性能，同时具备计算高效的马尔可夫链蒙特卡洛（MCMC）采样方法，从而实现一致的变量选择和通过伯恩斯坦-冯米塞斯型结果实现有效的不确定性量化。

ABSTRACT

During the past decade, shrinkage priors have received much attention in Bayesian analysis of high-dimensional data. This paper establishes the posterior consistency for high-dimensional linear regression with a class of shrinkage priors, which has a heavy and flat tail and allocates a sufficiently large probability mass in a very small neighborhood of zero. While enjoying its efficiency in posterior simulations, the shrinkage prior can lead to a nearly optimal posterior contraction rate and variable selection consistency as the spike-and-slab prior. Our numerical results show that under the posterior consistency, Bayesian methods can yield much better results in variable selection than the regularization methods such as Lasso and SCAD. This paper also establishes a Bernstein von-Mises type result, which leads to a convenient way of uncertainty quantification for regression coefficient estimates.

研究动机与目标

• 在一类广泛的收缩先验下，建立高维线性回归的后验一致性。
• 证明重尾、平尾先验可实现与脊柱-板先验相当的近乎最优后验收缩率。
• 通过避免变维数MCMC采样，提供一种计算高效的脊柱-板先验替代方法。
• 为高维回归中的不确定性量化建立伯恩斯坦-冯米塞斯型结果。
• 通过数值研究验证方法性能，显示其在变量选择方面显著优于Lasso和SCAD等经典频率学正则化方法。

提出的方法

• 论文分析了一类具有重尾和扁平尾的绝对连续收缩先验，其在零附近集中了显著质量。
• 推导了先验的充分条件——特别是多项式尾部和随维度增加而减小的尺度参数——以确保后验一致性和最优收缩率。
• 该方法采用层次先验结构，其中全局与局部收缩参数通过类似BIC的准则进行调优。
• 后验计算通过吉布斯采样实现，并通过扩展至随机梯度MCMC以提升大规模场景下的可扩展性。
• 建立了伯恩斯坦-冯米塞斯型结果，表明真实系数的后验可信区间在渐近下等价于“理想”区间。
• 理论分析考虑了协变量之间的依赖性，从而将回归模型与i.i.d.正态均值模型区分开来。

实验结果

研究问题

• RQ1 具有重尾和平尾特性的收缩先验是否能在高维线性回归中实现后验一致性和近乎最优的收缩率？
• RQ2 此类收缩先验在变量选择和估计精度方面与脊柱-板先验相比表现如何？
• RQ3 能否为收缩先验建立伯恩斯坦-冯米塞斯型结果，以实现在高维设置下的有效不确定性量化？
• RQ4 在 $ p > n $ 的情况下，何种先验分布条件可确保一致的变量选择？
• RQ5 是否可能实现与Lasso相当的计算效率，同时保持脊柱-板先验的理论最优性？

主要发现

• 所提出的收缩先验下，后验收缩率近乎最优，与高维回归的理论下界一致。
• 在较弱条件下建立了后验一致性：即重尾先验在零附近具有足够质量，且随着 $ p_n $ 增加，尺度参数递减。
• 该方法实现了变量选择的一致性，即随着样本量增大，真实模型的后验概率收敛于1。
• 伯恩斯坦-冯米塞斯型结果成立，意味着真实系数的可信区间在渐近下等价于“理想”置信区间。
• 数值结果表明，贝叶斯收缩方法在变量选择准确性方面显著优于Lasso和SCAD，尤其在高维设置下表现更优。
• 尽管霍什尔（horseshoe）先验广受欢迎，但在高维回归中由于虚假多重共线性问题，仍会导致大量误发现，凸显了对全局收缩参数精细调优的必要性。