[论文解读] Bayesian linear regression with sparse priors

Ismaël Castillo, J. Schmidt-Hieber+1 more|arXiv (Cornell University)|Mar 4, 2014

Fault Detection and Control Systems被引用 28

一句话总结

本文研究在稀疏性约束下，使用在零点处混合点质量与连续分布的稀疏先验，对高维线性回归进行全贝叶斯推断。它建立了参数估计和预测的最优后验收缩率，证明了模型选择的一致性，并推导了可信集的渐近正态近似，表明该方法在设计矩阵满足相容性条件时，实现了最优的频派性能。

ABSTRACT

We study full Bayesian procedures for high-dimensional linear regression under sparsity constraints. The prior is a mixture of point masses at zero and continuous distributions. Under compatibility conditions on the design matrix, the posterior distribution is shown to contract at the optimal rate for recovery of the unknown sparse vector, and to give optimal prediction of the response vector. It is also shown to select the correct sparse model, or at least the coefficients that are significantly different from zero. The asymptotic shape of the posterior distribution is characterized and employed to the construction and study of credible sets for uncertainty quantification.

研究动机与目标

• 开发一种在稀疏性约束下的高维线性回归全贝叶斯程序。
• 建立对稀疏参数向量 β 的估计和响应 Y 的预测的最优后验收缩率。
• 证明后验分布能一致地选择真实稀疏模型或显著不同于零的系数。
• 通过可信集表征后验分布的渐近形状，以实现不确定性量化。
• 证明该方法在性能上可与 LASSO 相媲美，尽管 LASSO 本质上是非贝叶斯的。

提出的方法

• 在 (S, β) 上使用层次先验，其中 S 选择协变量的活跃集合，βS 从独立同分布的连续密度（例如拉普拉斯分布）的乘积中抽取，且几乎必然地 βSc = 0。
• 在模型大小 s 上使用先验 πp(s)，其随 s 增加而略微快于指数衰减，以诱导稀疏性。
• 通过拉普拉斯先验的具体形式，直接分析后验比，推导收缩率。
• 对设计矩阵 X 应用相容性和最小稀疏特征值条件，以确保估计和预测的一致性。
• 利用后验的分布近似，推导可信集的伯恩斯坦-冯·米塞斯型结果。
• 使用指数检验和熵界控制后验集中度，特别是在高维设置中。

实验结果

研究问题

• RQ1 使用稀疏先验的全贝叶斯程序是否能在稀疏性约束下实现高维线性回归的最优后验收缩率？
• RQ2 后验分布是否能一致地选择真实稀疏模型或仅非零系数？
• RQ3 后验分布的渐近形状如何表现？能否用于构建有效的可信集以实现不确定性量化？
• RQ4 设计矩阵需满足何种条件，才能确保后验的最优频派性能？
• RQ5 该贝叶斯方法在估计和预测精度方面与 LASSO 相比如何？

主要发现

• 在相容性和最小稀疏特征值条件下，后验分布以最优速率收缩至稀疏参数向量 β。
• 后验实现了最优预测性能，后验均值以极小化最大风险速率收敛至真实均值 Xβ0。
• 后验一致地选择了真实模型或至少非零系数，包含真正非零系数的概率收敛至 1。
• 后验的渐近形状是子模型上伯恩斯坦-冯·米塞斯近似的混合形式，从而可通过可信集实现有效的不确定性量化。
• 对于较大的 M，后验概率排除真正非零系数 β0_m（满足 |β0_m| ≥ M√log p / ||X||）以多项式速率衰减，确保了选择的一致性。
• 该方法在贝叶斯意义上优于 LASSO，因为 LASSO 仅对应后验众数而非完整后验分布，且被证明在本质上是非贝叶斯的。