[论文解读] Fast Marginal Likelihood Estimation of the Ridge Parameter in Ridge Regression

George Karabatsos|arXiv (Cornell University)|Jan 1, 2015

Control Systems and Identification参考文献 35被引用 3

一句话总结

本文提出了一种快速、计算高效的岭回归岭参数估计方法，通过使用奇异值分解（SVD）简化边缘似然，消除了计算成本高昂的矩阵运算（如行列式和逆矩阵）。该方法实现了近乎即时的优化——通常在0.1秒以内完成，即使在高维数据中亦然，并且所得到的贝叶斯经验贝叶斯后验众数在贝叶斯因子比较中优于其他岭参数估计方法。

ABSTRACT

Ridge regression provides coefficient estimates via shrinkage, even when the observed design matrix contains correlated covariates, or when it is singular, as when the number of covariates exceeds the number of observations. This shrinking usually improve predictions in the linear model, compared to ordinary least-squares. However, the estimation and prediction accuracy of the ridge model depend on the choice of the ridge parameter. The current approaches to estimating the ridge parameter are based on minimizing cross-validation or information loss criteria, which are either computationally expensive or asymptotically inconsistent, and can only approximate (−2 times the log-) marginal likelihood of the model parameters. The marginal likelihood depends on a matrix determinant, which is computationally demanding when the number of covariates is large. This paper shows that after taking a singular value decomposition of the design matrix, the marginal likelihood can be simplified into an equation involving no matrix operations such as determinants or inverses. This simplification allows for a fast estimation of the ridge parameter based on a simple optimization algorithm, which typically completes in less than one-tenth of a second, even for data sets where the number of covariates and/or sample size is very large. Also, the marginal likelihood estimate of the ridge parameter is the “Bayes empirical Bayes” posterior mode, and is preferred according to the Bayes factor, over pair-wise comparisons of all possible ridge parameter estimates. We illustrate the speed and viability of the ridge parameter estimation method through the analysis of several real data sets, involving hundreds to several thousand covariates and observations, and involving more covariates than

研究动机与目标

• 解决当协变量数量较大时，岭回归中边缘似然估计计算不可行的问题。
• 克服现有岭参数估计方法的局限性，例如交叉验证中的高计算成本或信息准则的渐近不一致性。
• 开发一种快速、精确的边缘似然计算方法，避免使用矩阵行列式和逆矩阵。
• 提供一种计算高效的替代方法，以获得岭参数的贝叶斯经验贝叶斯后验众数。
• 通过真实世界数据分析，展示该方法在速度和统计性能上优于现有方法。

提出的方法

• 对设计矩阵应用奇异值分解（SVD），将其分解为正交分量和奇异值。
• 将边缘似然表达式改写为仅依赖于奇异值的形式，从而消除对矩阵行列式和逆矩阵的需求。
• 将对数边缘似然函数简化为仅依赖于奇异值和岭参数的形式。
• 使用简单的优化算法来最大化简化后的边缘似然函数，以实现岭参数估计。
• 利用所得估计作为贝叶斯经验贝叶斯后验众数，该估计在贝叶斯因子比较中具有统计优势。
• 在包含数百至数千个协变量和观测值的真实数据集上验证该方法，包括协变量多于观测值的情况。

实验结果

研究问题

• RQ1 能否通过SVD重写岭回归中的边缘似然，使其不再需要计算昂贵的矩阵运算（如行列式和逆矩阵）？
• RQ2 简化后的边缘似然是否能在高维设置下实现快速且准确的岭参数估计？
• RQ3 基于贝叶斯因子比较，所得的岭参数估计是否在统计上优于其他估计方法？
• RQ4 与交叉验证或信息准则等现有方法相比，该方法的计算速度如何？
• RQ5 当协变量数量超过观测数量时，该方法是否仍保持有效性和高效性？

主要发现

• 通过SVD重写边缘似然后，不再需要矩阵行列式和逆矩阵，显著降低了计算复杂度。
• 即使在协变量达数千个的数据集中，简化后的边缘似然也能在十分之一秒内完成岭参数优化。
• 所估计的岭参数对应于贝叶斯经验贝叶斯后验众数，且在贝叶斯因子比较中优于其他估计。
• 即使在协变量数量超过观测数量的高维设置下，该方法仍保持有效且计算可行。
• 与传统方法相比，该方法在计算速度和统计一致性方面表现更优，为交叉验证和信息准则提供了实用的替代方案。