[论文解读] Estimation Stability with Cross Validation (ESCV)

Chinghway Lim, Bin Yu|arXiv (Cornell University)|Mar 13, 2013

Statistical Methods and Inference参考文献 3被引用 5

一句话总结

本文提出ESCv，一种无需模型的准则，结合了交叉验证（CV）与估计稳定性（ES）度量，用于在高维Lasso模型中选择正则化参数。ESCv通过最小化估计不稳定性，使模型更小、更稳定，显著降低假阳性率，同时保持预测性能，并在真实世界神经科学和细胞生物学数据中与领域知识更一致。

ABSTRACT

Cross-validation (CV) is often used to select the regularization parameter in high dimensional problems. However, when applied to the sparse modeling method Lasso, CV leads to models that are unstable in high-dimensions, and consequently not suited for reliable interpretation. In this paper, we propose a model-free criterion ESCV based on a new estimation stability (ES) metric and CV. Our proposed ESCV finds a locally ES-optimal model smaller than the CV choice so that the it fits the data and also enjoys estimation stability property. We demonstrate that ESCV is an effective alternative to CV at a similar easily parallelizable computational cost. In particular, we compare the two approaches with respect to several performance measures when applied to the Lasso on both simulated and real data sets. For dependent predictors common in practice, our main finding is that, ESCV cuts down false positive rates often by a large margin, while sacrificing little of true positive rates. ESCV usually outperforms CV in terms of parameter estimation while giving similar performance as CV in terms of prediction. For the two real data sets from neuroscience and cell biology, the models found by ESCV are less than half of the model sizes by CV. Judged based on subject knowledge, they are more plausible than those by CV as well. We also discuss some regularization parameter alignment issues that come up in both approaches.

研究动机与目标

• 解决高维Lasso模型中交叉验证（CV）的不稳定性问题，后者常导致高假阳性率。
• 开发一种无需模型的准则，以增强估计稳定性，同时保持预测性能。
• 提供一种实用的CV替代方法，生成更易解释的模型，减少虚假变量。
• 在模拟数据和真实世界数据集上评估ESCv的性能，特别是在预测变量存在依赖关系的场景下。
• 研究CV与所提出的ESCv方法中常见的正则化参数对齐问题。

提出的方法

• 引入一种新的估计稳定性（ES）度量，用于量化在重采样数据集上系数估计的变异性。
• 将ES度量与交叉验证结合，形成一种新准则ESCv，选择使估计不稳定性最小的正则化参数λ。
• 使用k折交叉验证估计预测误差，同时在各折之间测量系数的稳定性。
• 优化目标为既具备预测能力又具有估计稳定性，偏好系数估计方差较低的更小模型。
• 将ESCv应用于Lasso回归，采用与CV相同的计算框架，支持轻松并行化。
• 在具有块状和托普利茨相关结构的模拟数据上，以及在神经科学和细胞生物学的两个真实数据集上，将ESCv与CV和扩展BIC进行比较。

实验结果

研究问题

• RQ1 在具有依赖预测变量的高维设置下，ESCv是否能产生比传统交叉验证更稳定、更可靠的Lasso模型？
• RQ2 与CV相比，ESCv在保持相当预测准确性的前提下，能在多大程度上降低假阳性率？
• RQ3 在真实世界应用中，ESCv表现如何，特别是在模型可解释性至关重要的神经科学和细胞生物学领域？
• RQ4 CV与ESCv中正则化参数对齐问题的含义是什么，它们如何影响模型选择？
• RQ5 ESCv能否作为一种实用的、计算高效的CV替代方法，在不增加计算成本的前提下改善参数估计和变量选择？

主要发现

• 对于具有依赖关系的预测变量，ESCv显著降低了假阳性率——通常可减半，同时在真正阳性检测方面损失极小。
• 在神经科学和细胞生物学的两个真实数据集中，ESCv生成的模型大小不足CV模型的一半，但保持了与CV相当的预测性能。
• 在模拟实验中，ESCv在参数估计方面始终优于CV，尤其在高相关性（ρ = 0.99）条件下，假阳性率从平均20.8降至18.2。
• 在块状相关结构设计中，ρ = 0.99且σ = 2时，ESCv将假阳性率从20.8降至18.2，同时F1值保持在0.143（CV为0.135），表现更优。
• 在托普利茨设计中，ρ = 0.99且σ = 2时，ESCv将假阳性率从26.2降至18.7，模型大小从26.5降至20.8，预测性能损失极小。
• ESCv模型与领域知识及独立的生物学发现更为一致，显示出在真实世界应用中更高的可解释性。