[论文解读] Mind the duality gap: safer rules for the Lasso

Olivier Fercoq, Alexandre Gramfort+1 more|arXiv (Cornell University)|May 13, 2015

Statistical Methods and Inference参考文献 27被引用 61

一句话总结

本文提出了Lasso的GAP SAFE规则，这是一种新颖的动态与序列安全筛选规则，利用对偶间隙计算来构建收缩的安全区域。该方法确保了有限时间内识别出活动集，并在高精度和高维设置下相较于先前方法实现了高达11倍的加速。

ABSTRACT

Screening rules allow to early discard irrelevant variables from the optimization in Lasso problems, or its derivatives, making solvers faster. In this paper, we propose new versions of the so-called $ extit{safe rules}$ for the Lasso. Based on duality gap considerations, our new rules create safe test regions whose diameters converge to zero, provided that one relies on a converging solver. This property helps screening out more variables, for a wider range of regularization parameter values. In addition to faster convergence, we prove that we correctly identify the active sets (supports) of the solutions in finite time. While our proposed strategy can cope with any solver, its performance is demonstrated using a coordinate descent algorithm particularly adapted to machine learning use cases. Significant computing time reductions are obtained with respect to previous safe rules.

研究动机与目标

• 开发更安全、更高效的Lasso筛选规则，以提升高维问题中的计算效率。
• 通过引入随时间缩小的安全区域框架，解决静态与序列安全规则的局限性。
• 通过筛选区域的收敛，确保Lasso解的活动集（支持）在有限时间内被识别。
• 基于对偶间隙的动态更新，统一并改进现有的安全筛选策略。
• 通过坐标下降求解器在多样化数据集上展示显著的计算增益。

提出的方法

• 基于对偶间隙计算提出GAP SAFE规则，定义随求解器收敛而收缩至零直径的安全区域。
• 引入收敛安全规则的概念，即安全区域的直径收敛至零，从而确保有限时间内识别活动集。
• 利用对偶间隙估计在优化过程中动态更新筛选区域，实现实时变量剔除。
• 将该框架应用于序列与动态筛选，统一先前方法的理论基础。
• 采用坐标下降作为基础求解器，利用其在高维机器学习应用中的高效性。
• 基于对偶可行性与对偶间隙边界推导安全筛选测试，确保变量剔除过程中无误删。

实验结果

研究问题

• RQ1 是否可利用对偶间隙计算构建安全区域收缩至零的筛选规则，从而确保有限时间内识别活动集？
• RQ2 基于对偶间隙的动态筛选与静态及序列安全规则相比，在变量筛选效率与计算速度方面表现如何？
• RQ3 所提出的GAP SAFE规则是否能在多样化数据集中实现显著的计算增益，尤其是在高维与稀疏设置下？
• RQ4 安全区域直径的收缩对Lasso解的精度与收敛性有何影响？
• RQ5 GAP SAFE规则的性能如何随问题规模增大与所需解精度提高而变化？

主要发现

• 在duality gap容差为10^-8时，GAP SAFE规则在Leukemia数据集上相较竞争方法实现了高达11倍的加速。
• 该方法筛选的变量数量显著多于先前的安全规则，尤其在小正则化参数λ下，此时筛选效益最大。
• 由于安全区域直径随求解器收敛而收敛至零，因此可保证有限时间内识别活动集。
• 在RCV1数据集（n=20242, p=47236）上，GAP SAFE规则实现了显著的计算增益，且性能随p/n比增大而表现更优。
• GAP SAFE规则的动态特性使其筛选效率随时间持续提升，而静态或非动态序列规则则不具备此优势。
• 即使在λ值极小、初始筛选效果不佳的情况下，随着迭代次数K的增加，GAP SAFE规则的筛选效率也持续提升。