[论文解读] A semi-automatic method to guide the choice of ridge parameter in ridge regression

Erika Cule, Maria De Iorio|arXiv (Cornell University)|May 3, 2012

Soil Geostatistics and Mapping参考文献 42被引用 34

一句话总结

本文提出了一种半自动的岭参数选择方法，通过控制预测值的方差，利用主成分分解得到的有效自由度来实现。该方法在预测准确度上优于单变量选择和HyperLasso方法，尤其在预测变量数量超过观测数量的高维遗传数据中表现更优，模拟研究和双相情感障碍病例对照研究均验证了其有效性。

ABSTRACT

We consider the application of a popular penalised regression method, Ridge Regression, to data with very high dimensions and many more covariates than observations. Our motivation is the problem of out-of-sample prediction and the setting is high-density genotype data from a genome-wide association or resequencing study. Ridge regression has previously been shown to offer improved performance for prediction when compared with other penalised regression methods. One problem with ridge regression is the choice of an appropriate parameter for controlling the amount of shrinkage of the coefficient estimates. Here we propose a method for choosing the ridge parameter based on controlling the variance of the predicted observations in the model. Using simulated data, we demonstrate that our method outperforms subset selection based on univariate tests of association and another penalised regression method, HyperLasso regression, in terms of improved prediction error. We extend our approach to regression problems when the outcomes are binary (representing cases and controls, as is typically the setting for genome-wide association studies) and demonstrate the method on a real data example consisting of case-control and genotype data on Bipolar Disorder, taken from the Wellcome Trust Case Control Consortium and the Genetic Association Information Network.

研究动机与目标

• 为解决在预测变量数量超过观测数量的高维回归中选择最优岭参数的挑战。
• 提升遗传数据中的样本外预测性能，特别是在存在高度连锁不平衡和大量相关SNP的全基因组关联研究中。
• 开发一种计算高效且对高维性和多重共线性具有鲁棒性的方法。
• 将方法扩展至二元结果（如疾病预测中的病例对照状态），并在真实遗传数据上进行验证。

提出的方法

• 通过设计矩阵的主成分分解，利用有效自由度控制预测值的方差，选择岭参数。
• 计算岭参数 $ k_r $，使得帽子矩阵的迹 $ \text{tr}(\mathbf{H}\mathbf{H}^\prime) = r $，其中 $ r $ 为所用主成分的数量。
• 主成分数量 $ r $ 的选择基于稳定化岭估计及其p值，即在岭轨迹中系数路径和p值曲线趋于稳定的点。
• 使用均方预测误差和分类误差作为指标，将该方法与交叉验证、单变量选择和HyperLasso进行比较。
• 对于二元结果，应用逻辑岭回归并使用相同的 $ k_r $ 参数，性能通过平均分类误差进行评估。
• 该方法利用岭收缩与自由度之间的关系，确保当 $ r $ 选择适当时，估计值接近普通最小二乘法（OLS）结果。

实验结果

研究问题

• RQ1 在预测变量数量超过观测数量的高维遗传数据中，一种半自动的岭参数选择方法是否能提升预测准确度？
• RQ2 通过有效自由度控制预测值方差的方法，与交叉验证或单变量筛选相比，在预测误差方面表现如何？
• RQ3 所提出的方法在不同主成分数量下是否能保持系数估计和p值的稳定性？
• RQ4 该方法能否有效扩展至二元结果（如病例对照研究中的疾病状态）？
• RQ5 在真实遗传数据（如双相情感障碍基因分型）中，该方法相对于HyperLasso和单变量选择的表现如何？

主要发现

• 在连续结果的模拟中，所提方法的平均预测平方误差（PSE）为1.23，显著低于单变量选择（1.51）和HyperLasso（1.55）。
• 在二元结果中，该方法在WTCCC-BD数据上实现了0.465的平均分类误差，优于单变量选择（0.489）和HyperLasso（0.491）。
• 该方法选择的岭参数使系数估计和p值在岭轨迹中趋于稳定，最优 $ r $ 出现在路径和p值曲线趋于平缓的点。
• 在所有模拟场景中，该方法在预测误差方面持续优于交叉验证和单变量选择，尤其在具有相关预测变量的高维设置下表现更优。
• 在真实双相情感障碍数据集中，该方法实现了0.465的平均分类误差，表明其在真实遗传预测场景中具有稳健性和临床相关性。
• 基于方差的岭参数选择方法相比仅依赖交叉验证或单变量筛选的方法，产生了更稳定且更准确的预测结果。