[论文解读] Lecture notes on ridge regression

Wessel N. van Wieringen|arXiv (Cornell University)|Sep 30, 2015

Fault Detection and Control Systems被引用 63

一句话总结

本篇详尽的讲义将岭回归作为解决高维线性回归问题（当 p > n 时）的方案，强调收缩估计、偏差-方差权衡以及与贝叶斯方法的联系。讲义详细阐述了估计、推断与正则化技术，包括通过交叉验证和信息准则选择惩罚项的方法，并结合理论推导与基因组学及高维数据分析的实际应用。

ABSTRACT

The linear regression model cannot be fitted to high-dimensional data, as the high-dimensionality brings about empirical non-identifiability. Penalized regression overcomes this non-identifiability by augmentation of the loss function by a penalty (i.e. a function of regression coefficients). The ridge penalty is the sum of squared regression coefficients, giving rise to ridge regression. Here many aspect of ridge regression are reviewed e.g. moments, mean squared error, its equivalence to constrained estimation, and its relation to Bayesian regression. Finally, its behaviour and use are illustrated in simulation and on omics data. Subsequently, ridge regression is generalized to allow for a more general penalty. The ridge penalization framework is then translated to logistic regression and its properties are shown to carry over. To contrast ridge penalized estimation, the final chapters introduce its lasso counterpart and generalizations thereof.

研究动机与目标

• 解决当预测变量数量 p 超过样本数量 n 时的高维线性回归挑战。
• 为岭回归提供统一的理论与计算框架，包括估计、推断与模型选择。
• 建立岭回归与贝叶斯方法之间的联系，以及向逻辑回归与广义线性模型的扩展。
• 通过交叉验证、广义交叉验证与信息准则，为惩罚参数选择提供实用指导。
• 通过真实世界数据示例，展示在基因组学中的应用，如微小RNA对基因表达的调控。

提出的方法

• 将岭回归形式化为约束优化问题，即在回归系数的 ℓ2 范数惩罚下最小化残差平方和。
• 推导岭估计量为 β̂_ridge = (XᵀX + λI)⁻¹XᵀY，说明其在 XᵀX 条件数不佳时稳定解的作用。
• 分析岭估计量的偏差、方差与均方误差，通过特征值分解展示其收缩特性。
• 利用帽子矩阵的迹引入岭回归的自由度，实现对模型复杂度的评估。
• 通过奇异值分解（SVD）与坐标下降等迭代算法，实现计算高效的评估。
• 应用信息准则（AIC、BIC）、交叉验证与广义交叉验证（GCV）选择最优惩罚参数。

实验结果

研究问题

• RQ1 当 p > n 时，岭回归如何缓解高维线性回归中的不稳定性？
• RQ2 岭回归与贝叶斯估计之间的关系是什么，特别是在先验分布与后验众数方面？
• RQ3 岭估计量的偏差、方差与均方误差如何随岭参数 λ 变化？
• RQ4 特征值收缩对主成分回归与变量选择有何影响？
• RQ5 在实际应用中，如何通过交叉验证、GCV 或信息准则有效选择惩罚参数？

主要发现

• 岭回归通过引入偏差降低方差，从而在高维设置下实现更低的均方误差。
• 岭估计量等价于在 β 上施加正态先验时的后验众数，建立了坚实的贝叶斯联系。
• 岭回归的自由度为 trace(X(XᵀX + λI)⁻¹Xᵀ)，可用于模型复杂度评估。
• 交叉验证与广义交叉验证为选择惩罚参数 λ 提供了稳健的方法。
• 在 p > n 的高维设置下，岭回归能一致地估计总体参数，且风险有界。
• 岭估计量将系数收缩向零，且设计矩阵中特征值较小的变量收缩程度更大。