[论文解读] Enumerating Multiple Equivalent Lasso Solutions

Yannis Pantazis, Vincenzo Lagani+1 more|arXiv (Cornell University)|Oct 13, 2017

Statistical Methods and Inference参考文献 6被引用 5

一句话总结

本文提出了一种算法，用于枚举在定义的均方根误差（RMSE）容差范围内统计等价的多个Lasso解，解决了高维、小样本生物医学数据中模型选择不可重现的问题。结果表明，存在近乎最优的解，其样本外误差与最优解相当，从而提高了模型的稳定性和可重现性。

ABSTRACT

Predictive modelling is a data-analysis task common in many scientific fields. However, it is rather unknown that multiple predictive models can be equally well-performing for the same problem. This multiplicity often leads to poor reproducibility when searching for a unique solution in datasets with low number of samples, high dimensional feature space and/or high levels of noise, a common scenario in biology and medicine. The Lasso regression is one of the most powerful and popular regularization methods, yet it also produces a single, sparse solution. In this paper, we show that nearly-optimal Lasso solutions, whose out-of-sample statistical error is practically indistinguishable from the optimal one, exist. We formalize various notions of equivalence between Lasso solutions, and we devise an algorithm to enumerate the ones that are equivalent in a statistical sense: we define a tolerance on the root mean square error (RMSE) which creates a RMSE-equivalent Lasso solution space. Results in both regression and classification tasks reveal that the out-of-sample error due to the RMSE relaxation is within the range of the statistical error due to the sampling size.

研究动机与目标

• 解决高维、小样本生物医学数据集中Lasso解可重现性差的问题。
• 通过在均方根误差（RMSE）上设定容差，形式化Lasso解之间的统计等价性。
• 开发一种算法，枚举所有在最优解RMSE容差范围内的Lasso解。
• 评估RMSE松弛后的样本外误差是否仍处于抽样引起的统计误差范围内。

提出的方法

• 在均方根误差（RMSE）上设定容差阈值，以生成一组RMSE等价的Lasso解。
• 基于其在定义的RMSE容差范围内的样本外预测误差，形式化Lasso解之间的等价性。
• 开发一种算法，系统性地枚举所有落在指定RMSE等价解空间内的Lasso解。
• 使用坐标下降和活动集策略，在RMSE约束下高效探索解空间。
• 在回归和分类任务上验证该方法，以评估统计稳定性和误差边界。

实验结果

研究问题

• RQ1 在给定的RMSE容差范围内，存在多少个与最优解统计等价的Lasso解？
• RQ2 在高维、小样本设置下，放松RMSE阈值在多大程度上增加了可行Lasso解的数量？
• RQ3 RMSE等价解的样本外误差与有限抽样大小引起的统计误差相比如何？
• RQ4 所提出的枚举方法是否能提升真实世界生物医学数据集中模型的可重现性？

主要发现

• 存在多个Lasso解，其在定义的RMSE容差范围内与最优解在统计上无法区分。
• RMSE松弛引入的样本外误差仍处于抽样引起的统计误差范围内，验证了容差阈值的实用性。
• 在高维、小样本设置下，RMSE等价解的数量显著增加，凸显了单一样本选择的不稳定性。
• 所提出的算法成功枚举了这些等价解，为选择单一稀疏模型提供了更稳健的替代方案。