[论文解读] Fast Best Subset Selection: Coordinate Descent and Local Combinatorial Optimization Algorithms

Hussein Hazimeh, Rahul Mazumder|arXiv (Cornell University)|Mar 4, 2018

Sparse and Compressive Sensing Techniques被引用 7

一句话总结

本文提出了一种快速坐标下降与局部组合优化算法，用于求解 $L_0L_q$-正则化最小二乘问题，在保持优异变量选择与预测性能的同时，相较于 glmnet 和 ncvreg 等现有工具包，实现了最高三倍的加速。该方法利用了一套最优性条件的分层结构，并在开源的 L0Learn 工具包中实现，适用于大规模稀疏学习。

ABSTRACT

The $L_0$-regularized least squares problem (a.k.a. best subsets) is central to sparse statistical learning and has attracted significant attention across the wider statistics, machine learning, and optimization communities. Recent work has shown that modern mixed integer optimization (MIO) solvers can be used to address small to moderate instances of this problem. In spite of the usefulness of $L_0$-based estimators and generic MIO solvers, there is a steep computational price to pay when compared to popular sparse learning algorithms (e.g., based on $L_1$ regularization). In this paper, we aim to push the frontiers of computation for a family of $L_0$-regularized problems with additional convex penalties. We propose a new hierarchy of necessary optimality conditions for these problems. We develop fast algorithms, based on coordinate descent and local combinatorial optimization, that are guaranteed to converge to solutions satisfying these optimality conditions. From a statistical viewpoint, an interesting story emerges. When the signal strength is high, our combinatorial optimization algorithms have an edge in challenging statistical settings. When the signal is lower, pure $L_0$ benefits from additional convex regularization. We empirically demonstrate that our family of $L_0$-based estimators can outperform the state-of-the-art sparse learning algorithms in terms of a combination of prediction, estimation, and variable selection metrics under various regimes (e.g., different signal strengths, feature correlations, number of samples and features). Our new open-source sparse learning toolkit L0Learn (available on CRAN and Github) reaches up to a three-fold speedup (with $p$ up to $10^6$) when compared to competing toolkits such as glmnet and ncvreg.

研究动机与目标

• 解决 $L_0$-正则化回归的计算瓶颈问题，该问题为 NP-难问题，显著慢于基于 $L_1$ 的方法（如 Lasso）。
• 开发可扩展至高维问题（$p \sim 10^6$）的高效算法，同时保持高统计性能。
• 弥合 $L_0$ 估计器在统计性能上的优越性与大规模场景下实际计算不可行性之间的差距。
• 提供一个统一框架，结合坐标下降与局部组合优化，以获得高质量解。

提出的方法

• 为 $L_0L_q$-正则化回归提出一套必要最优性条件的分层结构，层级越高，解的质量越强。
• 设计一种循环坐标下降算法（算法 1），高效探索解空间并找到初始高质量解。
• 提出一种局部组合优化算法（算法 3），通过全面测试小规模支持变化来改进解，确保局部最优。
• 采用两阶段策略：首先使用坐标下降寻找良好初始点，然后应用局部搜索以将解优化至局部最优支持。
• 在 L0Learn 的 C++/R 实现中，利用问题特异性结构与高效数据结构，实现显著加速。
• 将算法集成至 L0Learn，一个开源的 R/C++ 工具包，可在 CRAN 和 GitHub 上获取，支持 $L_0L_1$ 与 $L_0L_2$ 正则化。

实验结果

研究问题

• RQ1 能否将坐标下降与局部组合优化结合，以高效求解大规模 $L_0L_q$-正则化回归问题，同时保持高统计性能？
• RQ2 在不同信噪比与特征相关性条件下，$L_0L_q$ 估计器与最先进的稀疏学习方法（如 Lasso、MCP、Elastic Net）在预测、估计与变量选择方面的表现如何比较？
• RQ3 在低信号与高信号场景下，纯 $L_0$ 正则化与 $L_0L_q$ 正则化之间的计算与统计权衡为何？
• RQ4 局部组合优化能在多大程度上改进坐标下降的解？其解的质量与支持稀疏性在多大程度上接近全局 MIO 求解器的解？
• RQ5 所提出的算法能否在 $p \sim 10^6$ 个特征的问题上保持竞争力的训练时间与泛化性能？

主要发现

• 所提算法相较于 glmnet 和 ncvreg 等竞争工具包，最高实现三倍加速，大规模数据集上的训练时间从数分钟缩短至数秒。
• 在 Gaussian 1M 数据集上（$p = 10^6$，$n = 200$），L0Learn 实现 $L_0L_2$ 的训练时间为 16.5 秒，$L_0L_1$ 为 16.7 秒，而 glmnet 和 ncvreg 分别为 22.5 秒与 36.5 秒。
• L0Learn 生成了显著更稀疏的模型——例如在 Gaussian 1M 数据集上仅含 11 个非零系数，同时保持了具有竞争力的泛化均方误差（MSE）。
• 在低信噪比场景下，$L_0L_2$ 正则化在预测精度上优于 Lasso 与 MCP，且支持集小得多，展现出更优的稀疏性与预测性能之间的权衡。
• 算法 3（局部组合优化）的解在解质量上与全局 MIO 求解器匹配或高度逼近，但计算时间显著减少。
• 实证结果表明，$L_0L_q$ 估计器在各类数据场景下，始终在预测、估计与变量选择指标的综合表现上优于最先进的稀疏学习算法。