[论文解读] Grouping Priors and the Bayesian Elastic Net

Luke Bornn, Raphaël Gottardo+1 more|arXiv (Cornell University)|Jan 22, 2010

Advanced Statistical Methods and Models参考文献 10被引用 16

一句话总结

本文提出了两种新的贝叶斯先验分布——贝叶斯弹性网络（Bayesian Elastic Net）和Lq先验——结合了拉普拉斯先验的稀疏性与高斯先验的分组效应。通过交叉验证选择最优收缩参数，贝叶斯弹性网络在预测精度和分组性能方面均优于拉普拉斯先验和高斯先验，尤其在高相关性和高维设置下表现更优。

ABSTRACT

In the literature surrounding Bayesian penalized regression, the two primary choices of prior distribution on the regression coefficients are zero-mean Gaussian and Laplace. While both have been compared numerically and theoretically, there remains little guidance on which to use in real-life situations. We propose two viable solutions to this problem in the form of prior distributions which combine and compromise between Laplace and Gaussian priors, respectively. Through cross-validation the prior which optimizes prediction performance is automatically selected. We then demonstrate the improved performance of these new prior distributions relative to Laplace and Gaussian priors in both a simulated and experimental environment.

研究动机与目标

• 解决贝叶斯Lasso（拉普拉斯先验）缺乏分组效应的问题，后者无法为高度相关的预测变量分配相似的系数。
• 克服高斯先验在高维设置下表现欠佳的问题，因收缩不足导致过拟合。
• 开发兼具稀疏性（如拉普拉斯先验）与分组效应（如高斯先验）的贝叶斯先验，以提升预测与变量选择性能。
• 通过模拟与真实数据验证，证明所提先验在预测精度与分组一致性方面优于现有方法。
• 提供一种计算上可行的贝叶斯替代方案，相较于频率学派弹性网络，在预测变量相关场景下表现更优。

提出的方法

• 提出一种新的先验分布（贝叶斯弹性网络），通过正态分布的层次混合结构结合L1与L2惩罚，实现相关变量的自动收缩与分组。
• 引入Lq先验，利用正态尺度混合结构实现桥回归行为，使收缩特性在拉普拉斯与高斯特性之间灵活调节。
• 使用马尔可夫链蒙特卡洛（MCMC）方法，结合吉布斯抽样与梅特罗波利斯-黑斯廷斯步骤，近似后验分布，尤其适用于Lq先验。
• 通过交叉验证调整超参数并基于预测性能选择最优先验，确保模型选择的数据驱动性。
• 采用MAP估计与后验均值/中位数推断，评估系数的收缩与分组行为。
• 在模拟与真实数据（前列腺癌数据集）中对比所有方法（最小二乘法、Lasso、弹性网络、高斯先验、贝叶斯Lasso、Lq先验、贝叶斯弹性网络）。

实验结果

研究问题

• RQ1 能否设计一种贝叶斯先验，使高维回归中同时实现稀疏性与分组效应？
• RQ2 贝叶斯弹性网络在预测精度与分组性能方面，相较于频率学派弹性网络及其他贝叶斯先验表现如何？
• RQ3 在高维设置下，Lq先验是否在收缩与变量选择方面优于拉普拉斯与高斯先验？
• RQ4 随着预测变量维度与相关性的增加，所提先验的分组效应表现如何？
• RQ5 贝叶斯弹性网络在计算上是否可行，且在实际应用中是否优于其他惩罚回归方法？

主要发现

• 在前列腺癌数据集上，贝叶斯弹性网络在所有方法中取得了最佳预测性能，均方误差（MSE）为0.3874，略优于Lq先验（0.3838）。
• 当p=100时，高斯先验性能显著下降，表明其难以有效处理高维干扰变量。
• Lasso与Lq先验方法的分组表现不可靠，部分相关变量的系数与真实值±0.5的偏差高达10个单位。
• 即使维度增加，贝叶斯弹性网络仍保持强劲的分组性能，展现出对预测变量高相关性的鲁棒性。
• 在预测精度与分组一致性方面，贝叶斯弹性网络优于贝叶斯Lasso与高斯先验，尤其在高维与高相关设置下。
• 尽管计算成本较高，贝叶斯弹性网络整体上仍为最有效的方法，尤其在预测变量高度相关时表现更优。