[论文解读] Bayesian model selection in Gaussian regression

Felix Abramovich, Vadim Grinshtein|arXiv (Cornell University)|Dec 22, 2009

Statistical Methods and Inference被引用 1

一句话总结

本文提出了一种高维预测变量的高斯线性回归的贝叶斯模型选择方法，通过模型大小先验导出的复杂度惩罚实现。该方法在稀疏和密集设定下均实现了理论最优性，通过oracle不等式和渐近极小极大性证明，即使在多重共线性设计下也成立。

ABSTRACT

We consider a Bayesian approach to model selection in Gaussian linear regression, where the number of predictors might be much larger than the number of observations. From a frequentist view, the proposed procedure results in the penalized least squares estimation with a complexity penalty associated with a prior on the model size. We investigate the optimality properties of the resulting estimator. We establish the oracle inequality and specify conditions on the prior that imply its asymptotic minimaxity within a wide range of sparse and dense settings for “nearly-orthogonal ” and “multicollinear ” designs. 1

研究动机与目标

• 开发一种适用于高维高斯线性回归（p ≫ n）的贝叶斯模型选择框架。
• 通过证明该方法等价于带复杂度惩罚的惩罚最小二乘法，弥合贝叶斯与频率学派视角。
• 在稀疏和密集回归设定下，建立所得估计量的理论最优性。
• 研究确保在“近正交”和“多重共线性”设计下渐近极小极大的先验条件。

提出的方法

• 通过在模型大小上采用层次先验，使边缘似然中产生复杂度惩罚。
• 通过最大化边缘似然进行模型选择，等价于带数据相关惩罚的惩罚最小二乘法。
• 惩罚项源于模型大小的先验分布，将贝叶斯边缘化与频率学派正则化联系起来。
• 理论分析利用浓度不等式和熵条件来界定估计风险。
• 将该方法应用于近正交和多重共线性设计矩阵，以评估其鲁棒性。
• 通过oracle不等式推导理论保证，将估计量的风险与理想模型进行比较。

实验结果

研究问题

• RQ1 在何种条件下，贝叶斯模型选择程序在高维高斯回归中实现极小极大最优估计风险？
• RQ2 对模型大小的先验选择如何影响所得估计量的频率学派性质？
• RQ3 该贝叶斯程序是否能在稀疏和密集回归设定下均保持最优性？
• RQ4 多重共线性对贝叶斯模型选择方法性能有何影响？
• RQ5 该方法是否实现了将风险相对于最优可能模型进行有界的oracle不等式？

主要发现

• 贝叶斯模型选择程序实现了oracle不等式，意味着其风险在最优可能模型风险的对数因子范围内。
• 该方法在广泛模型类中为渐近极小极大，包括稀疏和密集设定。
• 最优性在“近正交”和“多重共线性”设计矩阵下均成立，显示出鲁棒性。
• 由先验诱导的复杂度惩罚确保估计量能自适应未知稀疏水平。
• 理论保证在设计矩阵上假设极少，适用于一般高维情形。
• 与惩罚最小二乘法的联系被正式建立，表明贝叶斯方法可产生具有最优风险性质的频率学派估计量。