[论文解读] Extended Comparisons of Best Subset Selection, Forward Stepwise Selection, and the Lasso

Trevor Hastie, Robert Tibshirani+1 more|arXiv (Cornell University)|Jul 27, 2017

Statistical Methods and Inference参考文献 20被引用 163

一句话总结

扩展比较最佳子集选择、前向逐步回归和lasso的模拟；未发现方法间存在统一优势，强调放松lasso表现强劲，在高SNR下子集选择最准确，在低SNR下lasso表现更好。

ABSTRACT

In exciting new work, Bertsimas et al. (2016) showed that the classical best subset selection problem in regression modeling can be formulated as a mixed integer optimization (MIO) problem. Using recent advances in MIO algorithms, they demonstrated that best subset selection can now be solved at much larger problem sizes that what was thought possible in the statistics community. They presented empirical comparisons of best subset selection with other popular variable selection procedures, in particular, the lasso and forward stepwise selection. Surprisingly (to us), their simulations suggested that best subset selection consistently outperformed both methods in terms of prediction accuracy. Here we present an expanded set of simulations to shed more light on these comparisons. The summary is roughly as follows: (a) neither best subset selection nor the lasso uniformly dominate the other, with best subset selection generally performing better in high signal-to-noise (SNR) ratio regimes, and the lasso better in low SNR regimes; (b) best subset selection and forward stepwise perform quite similarly throughout; (c) the relaxed lasso (actually, a simplified version of the original relaxed estimator defined in Meinshausen, 2007) is the overall winner, performing just about as well as the lasso in low SNR scenarios, and as well as best subset selection in high SNR scenarios.

研究动机与目标

• 评估在不同SNR、预测变量相关性和稀疏模式下，最佳子集选择、前向逐步和lasso何时相互优于对方。
• 在更广泛的模拟设置下，量化三种方法的预测准确性、稀疏性和计算成本。
• 引入并评估放松lasso变体，并将其性能与标准lasso及基于子集的方法进行比较。

提出的方法

• 将最佳子集选择建模为混合整数优化（MIO）问题，以利用高级求解器（如 Gurobi）。
• 在变化的 n、p、s 稀疏性、SNR ν 和预测变量相关性 ρ 下进行广泛仿真，比较 lasso、放松lasso、前向逐步和最佳子集选择。
• 使用外部验证来调整所有方法的超参数并报告预测性能指标。
• 实现一个 R 包（bestsubset），提供对基于 MIO 的最佳子集求解器的访问以及可重复性的步骤。
• 定义放松lasso 估计量 hat-beta^{relax}(λ, γ) = γ hat-beta^{lasso}(λ) + (1−γ) hat-beta^{LS}(λ)，分析其自由度与相对于其他方法的激进性。
• 在每个方法上设定时间预算以评估计算成本，其中子集路径的 MIO 求解器设有每 k 3 分钟的限制。

实验结果

研究问题

• RQ1 在不同的 SNR 领域和预测变量相关性下，最佳子集选择、前向逐步选择和lasso在预测准确性方面有何比较？
• RQ2 放松lasso是否在收缩与稀疏之间提供稳健的中间地带，其复杂性与其他方法相比如何？
• RQ3 在实际设置中，基于 MIO 的最佳子集选择与快速凸/贪婪方法的计算权衡是什么？
• RQ4 在哪些问题设定下非凸的最佳子集和前向逐步方法优于lasso，lasso在哪些情况占优？
• RQ5 前期工作中使用的SNR水平有多现实，结果在更广泛的SNR范围下如何变化？

主要发现

• 最佳子集选择与lasso并不对彼此形成普遍优势；在高SNR下最佳子集往往胜出，而lasso在低SNR下表现更佳。
• 前向逐步和最佳子集选择在许多设置下表现非常相近。
• 放松lasso通常整体表现最好，在低SNR情形下与lasso相当，在高SNR情形接近最佳子集。
• 最佳子集和前向逐步的激进性质（更高的自由度）在低 k 时可能导致更高方差，而lasso 提供收缩，稳定预测。
• 对SNR的现实评估表明，许多实际情景中的PVEs 相对温和，影响方法选择倾向于较不激进的收缩。