[论文解读] Inference for feature selection using the Lasso with high-dimensional data

Kasper Brink‐Jensen, Claus Thorn Ekstrøm|arXiv (Cornell University)|Mar 17, 2014

Statistical Methods and Inference参考文献 17被引用 9

一句话总结

本文提出了一种基于随机化的显著性检验程序，用于高维设置下（p ≫ n）Lasso特征选择结果的推断，即使预测变量数量远超样本量，也能为所选预测变量提供有效的p值。该方法控制了家庭错误率（family-wise error rate），并在多种模拟情景和真实数据中表现出高统计功效，包括前列腺癌数据集。

ABSTRACT

Penalized regression models such as the Lasso have proved useful for variable selection in many fields - especially for situations with high-dimensional data where the numbers of predictors far exceeds the number of observations. These methods identify and rank variables of importance but do not generally provide any inference of the selected variables. Thus, the variables selected might be the "most important" but need not be significant. We propose a significance test for the selection found by the Lasso. We introduce a procedure that computes inference and p-values for features chosen by the Lasso. This method rephrases the null hypothesis and uses a randomization approach which ensures that the error rate is controlled even for small samples. We demonstrate the ability of the algorithm to compute $p$-values of the expected magnitude with simulated data using a multitude of scenarios that involve various effects strengths and correlation between predictors. The algorithm is also applied to a prostate cancer dataset that has been analyzed in recent papers on the subject. The proposed method is found to provide a powerful way to make inference for feature selection even for small samples and when the number of predictors are several orders of magnitude larger than the number of observations. The algorithm is implemented in the MESS package in R and is freely available.

研究动机与目标

• 解决在p ≫ n的高维数据中，Lasso所选特征缺乏正式推断（如p值）的问题。
• 开发一种即使在样本量较小但预测变量集极大的情况下也能控制家庭错误率的方法。
• 使研究人员能够直接评估Lasso所选特征的统计显著性，而非将结果转移至OLS进行推断。
• 提供一种可推广的框架，适用于任何稀疏正则化方法，而不仅限于Lasso。
• 通过为变量选择所识别的特征分配显著性，支持基因组学等领域的假设生成。

提出的方法

• 将原假设重新表述为检验是否存在任何所选预测变量真正与响应变量相关，而非检验单个系数。
• 采用随机化/重采样方法，生成在假设无任何预测变量与响应变量相关时的Lasso选择的零抽样分布。
• 对于每个所选特征，通过比较其在随机化数据集中的选择频率与观察到的选择频率来计算p值。
• 该方法通过考虑Lasso中固有的选择偏差，在p ≫ n的情况下仍能保持第一类错误控制。
• 该方法在MESS R包中实现，适用于大规模数据，计算效率高。
• 可通过调整选择和随机化步骤，将其应用于任何稀疏正则化方法（如弹性网络、岭回归）。

实验结果

研究问题

• RQ1 当预测变量数量p远大于样本量n时，能否为Lasso所选特征分配有效的p值？
• RQ2 所提出的基于随机化的检验方法是否能在小样本的高维设置下控制家庭错误率？
• RQ3 在不同相关结构和效应大小下，该方法在检测真正相关预测变量方面的统计功效如何与现有方法（如协方差检验、分割法）比较？
• RQ4 当预测变量存在相关性或仅有少数真正因果变量时，该方法是否能可靠地识别出最重要的预测变量？
• RQ5 该方法在真实世界应用中是否具有鲁棒性和有效性，例如在基因组学或前列腺癌数据分析中？

主要发现

• 所提出的方法即使在仅有50个观测值和最多25万个预测变量的情况下，也能实现检测至少一个真正相关预测变量的高统计功效。
• 该方法在小样本和p ≫ n的高维设置下，能有效控制家庭错误率。
• 在模拟中，该方法在原假设下产生的p值大小符合预期，表明其校准良好。
• 在前列腺癌数据集上的应用中，该方法成功识别出lcavol为显著预测变量，结果与其他方法一致，但因采用更强大的原假设而得到更低的p值。
• 与分割法相比，该方法在p值精度方面表现更优，尤其在次要预测变量上；且在预测变量相关时仍表现出稳健性能。
• 即使将样本量减少至30，该方法仍保持良好性能，表明其在小样本基因组学研究中的实用性。