[论文解读] Gap Safe screening rules for sparsity enforcing penalties

Eugène Ndiaye, Olivier Fercoq+2 more|arXiv (Cornell University)|Nov 17, 2016

Sparse and Compressive Sensing Techniques参考文献 41被引用 11

一句话总结

本文提出了一种名为 Gap Safe 的筛选规则——一种基于对偶性差距的统一框架，用于在优化稀疏性正则化模型（如 Lasso、多任务 Lasso 和稀疏组 Lasso）时安全地剔除无关特征。通过在每次迭代中计算对偶性差距，该方法实现了动态且安全的变量筛选，显著加速了各类高维学习任务中的坐标下降求解器，其速度与鲁棒性均优于以往的可靠规则和强规则，尤其在低正则化参数下表现更优。

ABSTRACT

In high dimensional regression settings, sparsity enforcing penalties have proved useful to regularize the data-fitting term. A recently introduced technique called screening rules propose to ignore some variables in the optimization leveraging the expected sparsity of the solutions and consequently leading to faster solvers. When the procedure is guaranteed not to discard variables wrongly the rules are said to be safe. In this work, we propose a unifying framework for generalized linear models regularized with standard sparsity enforcing penalties such as $\ell_1$ or $\ell_1/\ell_2$ norms. Our technique allows to discard safely more variables than previously considered safe rules, particularly for low regularization parameters. Our proposed Gap Safe rules (so called because they rely on duality gap computation) can cope with any iterative solver but are particularly well suited to (block) coordinate descent methods. Applied to many standard learning tasks, Lasso, Sparse-Group Lasso, multi-task Lasso, binary and multinomial logistic regression, etc., we report significant speed-ups compared to previously proposed safe rules on all tested data sets.

研究动机与目标

• 通过安全的特征剔除方法加速迭代求解器，以解决高维稀疏学习中的计算瓶颈问题。
• 克服现有安全规则的局限性，这些规则通常过于保守，或需要实际中无法获得的精确对偶解。
• 在单一框架下统一顺序与动态筛选策略，适用于广泛的一类凸稀疏性促进问题。
• 通过动态剔除在最优解处系数必为零的变量，实现更快的收敛与主动集识别。
• 将筛选规则扩展至迭代求解器（如（块）坐标下降），这些求解器天然受益于支持集的缩减。

提出的方法

• 提出一种基于对偶性差距的筛选准则，可在求解器迭代过程中动态识别在最优解处系数为零的变量。
• 利用对偶性差距计算最优目标值的下界，从而安全地剔除其对偶不可行性超过该下界的特征。
• 将筛选规则集成至（块）坐标下降求解器中，实现对非活跃坐标的高效剔除，且不损害收敛性。
• 通过利用前序正则化参数的中间迭代结果与对偶性差距估计，统一顺序与动态筛选策略。
• 将该框架应用于具有标准稀疏性惩罚（如 ℓ1、ℓ1{ℓ2）的广义线性模型，确保理论安全性与实际效率。
• 引入主动集与热启动策略，通过重用先前解与筛选结果，进一步加速收敛。

实验结果

研究问题

• RQ1 能否开发一种统一框架，以安全方式在 Lasso、多任务 Lasso 和稀疏组 Lasso 等多种模型中剔除特征？
• RQ2 如何利用对偶性差距计算，在无需预先知晓最优解的情况下，动态且安全地剔除变量？
• RQ3 与现有可靠或强规则相比，Gap Safe 规则在计算速度上的提升程度如何，特别是在低正则化参数区域？
• RQ4 所提出的方法能否无缝集成至（块）坐标下降求解器中，这些求解器天然受益于支持集缩减？
• RQ5 Gap Safe 规则与主动集及热启动策略的结合，如何提升真实高维数据集上的求解器性能？

主要发现

• 所提出的 Gap Safe 规则在所有测试数据集（包括 Leukemia、MEG/EEG 和气候数据）上均实现了显著加速，收敛速度最快可达 3 倍。
• 与以往安全规则相比，Gap Safe 规则更具攻击性，尤其在低正则化参数下，能剔除更多变量，同时保持理论安全性。
• 在 Leukemia 数据集上，使用 Gap Safe 规则的完整动态筛选使 ℓ1-正则化逻辑回归的计算时间相比标准安全规则减少了 2.5 倍。
• 在气候数据上的稀疏组 Lasso 任务中，采用 100 个正则化参数的对数网格，该方法实现了 3 倍的收敛时间加速，并提升了主动集识别效果。
• 将主动热启动与 Gap Safe 筛选结合后，性能进一步增强，尤其在路径算法中表现显著，大幅缩短了所有测试模型的收敛时间。
• 该框架成功统一了回归与分类任务中的筛选策略，包括二分类与多项式逻辑回归，展现出广泛的适用性与鲁棒性。