[论文解读] Fast Marginal Likelihood Estimation of the Ridge Parameter(s) in Ridge Regression and Generalized Ridge Regression for Big Data

George Karabatsos|arXiv (Cornell University)|Sep 8, 2014

Statistical and numerical algorithms参考文献 45被引用 5

一句话总结

该论文提出了一种基于奇异值分解（SVD）的快速边际最大似然（MML）估计方法，用于岭回归（RR）、幂岭回归（PRR）和广义岭回归（GRR）模型中的岭参数估计，可在大规模或高维数据（p > n）下实现高效计算。MML方法在速度和预测准确性方面优于交叉验证、马尔可夫链蒙特卡洛（MCMC）和信息准则（IC）方法，且贝叶斯GRR模型在检测显著预测变量方面表现出更优的边际似然和稳健性。

ABSTRACT

Unlike the ordinary least-squares (OLS) estimator for the linear model, a ridge regression linear model provides coefficient estimates via shrinkage, usually with improved mean-square and prediction error. This is true especially when the observed design matrix is ill-conditioned or singular, either as a result of highly-correlated covariates or the number of covariates exceeding the sample size. This paper introduces novel and fast marginal maximum likelihood (MML) algorithms for estimating the shrinkage parameter(s) for the Bayesian ridge and power ridge regression models, and an automatic plug-in MML estimator for the Bayesian generalized ridge regression model. With the aid of the singular value decomposition of the observed covariate design matrix, these MML estimation methods are quite fast even for data sets where either the sample size (n) or the number of covariates (p) is very large, and even when p>n. On several real data sets varying widely in terms of n and p, the computation times of the MML estimation methods for the three ridge models, respectively, are compared with the times of other methods for estimating the shrinkage parameter in ridge, LASSO and Elastic Net (EN) models, with the other methods based on minimizing prediction error according to cross-validation or information criteria. Also, the ridge, LASSO, and EN models, and their associated estimation methods, are compared in terms of prediction accuracy. Furthermore, a simulation study compares the ridge models under MML estimation, against the LASSO and EN models, in terms of their ability to differentiate between truly-significant covariates (i.e., with non-zero slope coefficients) and truly-insignificant covariates (with zero coefficients).

研究动机与目标

• 解决传统岭参数估计方法（如交叉验证和MCMC）在大数据环境下计算效率低下的问题。
• 为贝叶斯RR、PRR和GRR模型开发快速、可扩展的岭参数估计方法，尤其适用于p > n或设计矩阵病态的情况。
• 相比LASSO和弹性网络（Elastic Net），提升预测性能和统计效能，以更好地区分真正显著与不显著的协变量。
• 为广义岭回归（GRR）模型提供一种闭式、即插即用的MML估计器，避免迭代优化。
• 在真实和模拟数据中，证明基于MML的岭模型在边际似然、预测误差和变量选择准确性方面具有优越性。

提出的方法

• 利用设计矩阵的奇异值分解（SVD）X = UDWᵀ，将回归问题转换到正交空间，从而实现MML估计的快速计算。
• 通过在SVD分量上进行迭代优化，推导出贝叶斯RR和PRR模型中岭参数的边际最大似然（MML）估计器。
• 在岭参数的先验为均匀分布的假设下，为广义岭回归（GRR）模型引入一种闭式、自动的即插即用MML估计器。
• 采用贝叶斯因子比较不同岭参数取值，选择使边际似然最大的参数作为最优估计。
• 利用SVD高效计算系数和误差方差的后验均值与后验方差，避免昂贵的矩阵求逆和行列式计算。
• 应用基于后验的检验统计量——后验四分位距准则、95%后验区间和SN准则，用于变量选择和显著性检验。

实验结果

研究问题

• RQ1 能否利用SVD使MML估计在大规模或高维数据（p > n）下的岭参数估计实现计算高效化？
• RQ2 基于MML的岭回归模型在预测准确性方面与通过GIC(λ)或修正BIC(λ)估计的LASSO和弹性网络模型相比如何？
• RQ3 采用MML估计参数的广义岭回归模型是否在边际似然和变量选择方面优于标准RR和PRR？
• RQ4 在模型选择准则下，基于MML的后验准则是否能比LASSO和EN更灵敏、更准确地检测出真正显著的协变量？
• RQ5 所提出的GRR岭参数闭式即插即用估计器在准确性和速度方面是否均优于迭代方法？

主要发现

• 在n和p从数百到数千的10个真实数据集中，RR、PRR和GRR模型的MML估计方法在速度上显著优于交叉验证、MCMC和基于GIC/BIC的方法。
• 在超过一半的10个真实数据集中，贝叶斯GRR模型实现了最高的边际似然，表明其模型拟合优于RR和PRR。
• 所有三种MML估计的岭模型（RR、PRR、GRR）在10折交叉验证的均方预测误差方面，均一致优于LASSO和弹性网络。
• 当特征值较小的主成分与响应变量显著相关时，PRR模型相比标准RR表现出更优的预测性能。
• MML估计的岭模型中，基于后验的检验统计量（如95%后验区间、SN准则）在检测真实非零系数方面，相比在GIC(λ)或修正BIC(λ)最小化下使用的LASSO和EN，表现出更高的灵敏度和特异性。
• 一个免费的、基于菜单驱动的软件包已公开发布，实现了基于MML的RR、PRR和GRR模型，包含本研究中的示例输出和数据集。