[论文解读] GAP Safe screening rules for sparse multi-task and multi-class models

Eugène Ndiaye, Olivier Fercoq+2 more|arXiv (Cornell University)|Jun 11, 2015

Stochastic Gradient Optimization Techniques参考文献 24被引用 16

一句话总结

本文提出了一种针对稀疏多任务和多分类模型的GAP安全筛选规则，通过计算对偶间隙动态识别并安全地消除无关特征，从而在优化过程中显著加速坐标下降求解器。该方法在低正则化参数下尤其有效，能更早且更激进地进行变量筛选，已在脑成像和文本分类等高维数据集上实现显著加速。

ABSTRACT

High dimensional regression benefits from sparsity promoting regularizations. Screening rules leverage the known sparsity of the solution by ignoring some variables in the optimization, hence speeding up solvers. When the procedure is proven not to discard features wrongly the rules are said to be \emph{safe}. In this paper we derive new safe rules for generalized linear models regularized with $\ell_1$ and $\ell_1/\ell_2$ norms. The rules are based on duality gap computations and spherical safe regions whose diameters converge to zero. This allows to discard safely more variables, in particular for low regularization parameters. The GAP Safe rule can cope with any iterative solver and we illustrate its performance on coordinate descent for multi-task Lasso, binary and multinomial logistic regression, demonstrating significant speed ups on all tested datasets with respect to previous safe rules.

研究动机与目标

• 通过加速优化求解器来解决高维稀疏学习中的计算瓶颈。
• 开发可证明地消除无关特征而不冒错误剔除风险的安全筛选规则。
• 将现有安全筛选方法扩展至具有ℓ1和ℓ1{ℓ2正则化的多任务和多分类模型。
• 在求解器执行过程中实现动态、迭代的筛选，而非静态预筛选。
• 提升广义线性模型中坐标下降法的收敛速度和活跃集识别能力。

提出的方法

• 提出一种基于对偶间隙计算的统一框架，推导出ℓ1和ℓ1{ℓ2正则化模型的安全筛选规则。
• 定义以对偶解为中心的球形安全区域，其半径随对偶间隙减小而趋近于零。
• 利用对偶间隙界定对偶变量的ℓ2范数，从而安全地剔除其对偶分量位于不断缩小的安全球内的特征。
• 通过检查每个特征的对偶向量是否位于安全区域内，将筛选规则集成到任意迭代求解器中，特别是坐标下降法。
• 通过依赖精确的对偶间隙估计来确保安全性，避免对对偶解的近似依赖。
• 在整个优化过程中动态应用筛选规则，随着算法收敛提升筛选效率。

实验结果

研究问题

• RQ1 能否将基于对偶间隙的筛选规则推广至具有ℓ1和ℓ1{ℓ2正则化的多任务和多分类模型？
• RQ2 如何使安全筛选规则在迭代优化过程中实现动态和自适应？
• RQ3 与静态或顺序规则相比，基于对偶间隙的安全区域在变量筛选方面能提升多少效率？
• RQ4 所提出的方法是否能在高维设置下实现更快的收敛速度和更短的计算时间？
• RQ5 该框架能否在不修改核心算法的前提下高效集成到现有坐标下降求解器中？

主要发现

• 在MEG/EEG数据上，GAP安全规则将求解多任务Lasso路径的时间减少了高达70%，相比无筛选和先前的动态规则。
• 在Leukemia数据集上，动态GAP安全规则相比顺序筛选将计算时间减少了50%以上，且在所有λ值下均实现更快收敛。
• 在News20数据集上的ℓ1{ℓ2多项式逻辑回归任务中，GAP安全规则将总计算时间从1,353秒（无筛选）减少至485秒（有筛选），实现64%的加速。
• 在GAP安全规则下，活跃变量的比例随迭代次数增加而更快下降，表明安全区域收敛且筛选能力更强。
• 该方法在低正则化参数下尤其表现出色，通过更激进且可靠的特征剔除，优于静态和顺序安全规则。
• 该框架在多种数据类型（包括密集型，如脑成像，和稀疏型，如文本分类）中均表现稳健，证实了其广泛适用性。