[论文解读] From safe screening rules to working sets for faster Lasso-type solvers

Mathurin Massias, Alexandre Gramfort+1 more|arXiv (Cornell University)|Mar 21, 2017

Sparse and Compressive Sensing Techniques参考文献 34被引用 9

一句话总结

本文提出了一种针对Lasso型求解器的新型工作集（WS）策略，结合了激进的Gap Safe筛选规则与Gauss-Southwell（GS）块坐标下降法，以实现更快的收敛速度。通过预计算Gram矩阵并采用批处理GS规则（GS-rB），该方法在稀疏学习问题上实现了最先进性能，显著优于标准求解器在Lasso及多任务Lasso设置下的表现。

ABSTRACT

Convex sparsity-promoting regularizations are ubiquitous in modern statistical learning. By construction, they yield solutions with few non-zero coefficients, which correspond to saturated constraints in the dual optimization formulation. Working set (WS) strategies are generic optimization techniques that consist in solving simpler problems that only consider a subset of constraints, whose indices form the WS. Working set methods therefore involve two nested iterations: the outer loop corresponds to the definition of the WS and the inner loop calls a solver for the subproblems. For the Lasso estimator a WS is a set of features, while for a Group Lasso it refers to a set of groups. In practice, WS are generally small in this context so the associated feature Gram matrix can fit in memory. Here we show that the Gauss-Southwell rule (a greedy strategy for block coordinate descent techniques) leads to fast solvers in this case. Combined with a working set strategy based on an aggressive use of so-called Gap Safe screening rules, we propose a solver achieving state-of-the-art performance on sparse learning problems. Results are presented on Lasso and multi-task Lasso estimators.

研究动机与目标

• 通过将安全筛选规则与工作集策略相结合，加速Lasso型求解器的求解过程。
• 证明Gauss-Southwell块坐标下降法在计算时间上具有竞争力，而不仅限于迭代次数。
• 表明预计算Gram矩阵可实现小工作集上的高效内部求解。
• 通过激进的特征剔除与最优块选择，实现Lasso与多任务Lasso问题的更快收敛。
• 提供一种可扩展的开源实现，其性能优于现有最先进求解器。

提出的方法

• 该方法使用Gap Safe筛选规则，在对偶问题中识别并永久移除不活跃特征（或特征组），确保收敛到正确的稀疏解。
• 采用工作集策略，逐步扩展活跃特征集合，并在每一步求解更小的子问题。
• 内部求解器采用Gauss-Southwell（GS）规则，该规则贪婪地选择能使目标函数下降最大的坐标块。
• 一种变体GS-rB将最佳更新的搜索限制在小的、循环的块批次中，从而提高效率。
• 为当前工作集预计算Gram矩阵，以加速内部循环计算。
• 算法采用对偶间隙停止准则，并为内外循环分别设置自适应阈值。

实验结果

研究问题

• RQ1 Gap Safe筛选规则能否有效用于构建加速Lasso型求解器的工作集策略？
• RQ2 当与Gram矩阵预计算结合时，Gauss-Southwell规则是否能在实际运行时间上实现更快收敛，而不仅限于迭代次数？
• RQ3 在实践中，GS-rB（一种批处理GS变体）的性能与循环策略及其他BCD策略相比如何？
• RQ4 所提方法能否在标准Lasso与多任务Lasso问题上均实现最先进性能？
• RQ5 预计算Gram矩阵对工作集框架中内部求解器效率有何影响？

主要发现

• 所提出的结合Gram矩阵预计算的GS-rB工作集求解器，其收敛速度优于标准循环BCD求解器，Leukemia数据集上的实验结果已证实这一点。
• 在Leukemia数据集上，该方法在0.3秒内将对偶间隙降至10−6以下，优于scikit-learn与Blitz实现。
• 在MEG数据（n=302, p=7498, q=181）上的多任务Lasso问题中，该方法比循环BCD更快减小对偶间隙，且在6秒内完成收敛。
• 使用Gap Safe规则使算法能在早期阶段剔除高达90%的特征，显著减小问题规模。
• 预计算Gram矩阵显著提升了内部循环求解的速度，使GS规则在实际运行时间上具备竞争力。
• 在内层子问题中，该方法将对偶间隙减少了30%，容忍度阈值为ϵ=0.3，从而整体提升了效率。