[论文解读] Empirical priors for prediction in sparse high-dimensional linear regression

Ryan Martin, Yiqi Tang|arXiv (Cornell University)|Mar 3, 2019

Statistical Methods and Inference参考文献 39被引用 7

一句话总结

本文提出了一种用于高维线性回归的新型经验贝叶斯框架，通过使用数据依赖的先验分布来提升预测精度和不确定性量化。通过将先验集中在数据驱动的估计值上并引入正则化，该方法实现了快速的后验集中和具有共轭计算的准确预测区间，在有限样本下优于现有的贝叶斯方法。

ABSTRACT

In this paper we adopt the familiar sparse, high-dimensional linear regression model and focus on the important but often overlooked task of prediction. In particular, we consider a new empirical Bayes framework that incorporates data in the prior in two ways: one is to center the prior for the non-zero regression coefficients and the other is to provide some additional regularization. We show that, in certain settings, the asymptotic concentration of the proposed empirical Bayes posterior predictive distribution is very fast, and we establish a Bernstein--von Mises theorem which ensures that the derived empirical Bayes prediction intervals achieve the targeted frequentist coverage probability. The empirical prior has a convenient conjugate form, so posterior computations are relatively simple and fast. Finally, our numerical results demonstrate the proposed method's strong finite-sample performance in terms of prediction accuracy, uncertainty quantification, and computation time compared to existing Bayesian methods.

研究动机与目标

• 解决在 $ p \gg n $ 的稀疏高维线性模型中实现准确预测的挑战。
• 开发一种计算高效的贝叶斯预测方法，同时保持最优的后验集中速率。
• 通过具有正确频率覆盖度的预测区间，确保有效的不确定性量化。
• 通过使用共轭、数据依赖的先验，克服重尾先验带来的计算瓶颈。
• 在预测精度、不确定性量化和计算速度方面，展示出在有限样本下的优异表现。

提出的方法

• 该方法通过将非零回归系数的先验集中在数据驱动的估计值（如最小二乘估计）上来构建经验先验。
• 通过从数据中导出的缩放因子引入额外的正则化，以提升稳定性和集中性。
• 由此产生的经验贝叶斯后验是共轭的，可通过标准的蒙特卡洛采样实现快速高效的后验计算。
• 从经验后验中推导出预测分布，并用于生成点预测和预测区间。
• 理论分析利用赫林格距离和Kullback–Leibler散度，在随机设计框架下建立后验集中速率。
• 建立了伯恩斯坦-冯米塞斯定理，确保预测区间的渐近有效性，具有正确的频率覆盖度。

实验结果

研究问题

• RQ1 能否设计出数据依赖的先验，以在高维稀疏线性模型中实现快速后验集中？
• RQ2 所提出的经经验贝叶斯框架是否在实现快速计算的同时保持最优的后验集中速率？
• RQ3 由此产生的预测分布能否提供具有正确频率覆盖度的有效不确定性量化？
• RQ4 与现有贝叶斯和频率学派方法相比，该方法在有限样本下的表现如何？
• RQ5 能否利用经验先验的共轭结构实现高效采样，同时不牺牲理论保证？

主要发现

• 经验贝叶斯后验预测分布在样本内和样本外预测设置下均实现了近乎参数化的收敛速率。
• 该方法通过伯恩斯坦-冯米塞斯定理确保了预测区间的渐近有效性，保证了正确的频率覆盖度。
• 在稀疏性条件下，后验集中速率达到最优，且当 $ n \to \infty $ 时，真实模型的后验概率收敛至1。
• 经验先验允许共轭计算，从而实现快速高效的采样，这相较于使用重尾先验的MCMC方法具有显著优势。
• 数值结果表明，与现有贝叶斯方法相比，该方法在预测精度、不确定性量化和计算时间方面均表现出更优的有限样本性能。
• 即使在 $ p \gg n $ 的情况下，该方法仍保持强大的理论保证，且其结果可轻松推广至多维响应变量（$ d > 1 $），仅需极少修改。