[论文解读] Dual Extrapolation for Sparse Generalized Linear Models

Mathurin Massias, Samuel Vaiter+2 more|arXiv (Cornell University)|Jul 12, 2019

Sparse and Compressive Sensing Techniques参考文献 67被引用 8

一句话总结

本文提出了一种用于稀疏广义线性模型（GLMs）的双重外推方法，利用近端梯度或循环坐标下降中符号识别后对偶迭代的向量自回归（VAR）行为。该方法通过以极低的计算开销构建更紧致的对偶证书，显著加速了筛选规则和工作集算法，大幅减少了Lasso、逻辑回归及多任务Lasso问题的求解时间。

ABSTRACT

Generalized Linear Models (GLM) form a wide class of regression and classification models, where prediction is a function of a linear combination of the input variables. For statistical inference in high dimension, sparsity inducing regularizations have proven to be useful while offering statistical guarantees. However, solving the resulting optimization problems can be challenging: even for popular iterative algorithms such as coordinate descent, one needs to loop over a large number of variables. To mitigate this, techniques known as screening rules and working sets diminish the size of the optimization problem at hand, either by progressively removing variables, or by solving a growing sequence of smaller problems. For both techniques, significant variables are identified thanks to convex duality arguments. In this paper, we show that the dual iterates of a GLM exhibit a Vector AutoRegressive (VAR) behavior after sign identification, when the primal problem is solved with proximal gradient descent or cyclic coordinate descent. Exploiting this regularity, one can construct dual points that offer tighter certificates of optimality, enhancing the performance of screening rules and helping to design competitive working set algorithms.

研究动机与目标

• 为解决标准对偶迭代构造在稀疏GLM求解器中的低效性，该低效性限制了筛选规则与工作集方法的性能。
• 开发一种系统性且低成本的方法，用于生成收敛更快的对偶迭代，以改进最优性认证。
• 将Celer对偶外推框架从Lasso推广至包括逻辑回归和多任务Lasso在内的广义线性模型（GLM）广泛类别。
• 证明双重外推可提升Gap Safe筛选与工作集策略，且不增加计算成本。

提出的方法

• 利用近端梯度下降或循环坐标下降中符号识别后对偶迭代的向量自回归（VAR）行为。
• 应用受Scieur等人（2016）启发的外推过程，从原始迭代中构造改进的对偶点。
• 利用双重外推收紧对偶间隙估计，实现对无关变量更早且更可靠的识别。
• 将改进的对偶点集成至Gap Safe规则与工作集算法中，以加速收敛。
• 通过引入坐标下降步骤初始化对偶外推序列，将Celer框架适配至近端牛顿求解器。
• 利用凸对偶性推导出比标准对偶迭代近似更紧致的最优性证书。

实验结果

研究问题

• RQ1 在符号识别后，稀疏GLM求解器中的对偶迭代是否可建模为向量自回归（VAR）过程？
• RQ2 双重外推是否能显著提升稀疏GLM中筛选规则与工作集方法的性能？
• RQ3 双重外推框架能否超越Lasso，推广至其他GLM（如逻辑回归与多任务Lasso）？
• RQ4 双重外推的计算成本如何？其在提升收敛速度与最优性认证能力的同时，是否仍保持较低开销？
• RQ5 双重外推与二阶求解器（如近端牛顿法）如何交互？需要进行哪些修改以保持效率？

主要发现

• 在近端梯度与循环坐标下降中，符号识别后对偶迭代表现出稳定的向量自回归（VAR）行为，支持外推。
• 在高精度下，对Finance数据集上的Lasso问题，双重外推相比scikit-learn的原始坐标下降方法，计算时间最高可减少30倍。
• 在news20数据集上的逻辑回归问题中，结合Gap Safe规则的双重外推方法，路径计算时间相比非外推方法最高可减少5倍。
• 在MEG数据集上的多任务Lasso问题中，经双重外推增强的Celer工作集策略，优于Gap Safe规则，实现了更少迭代次数下的更快收敛。
• 在近端牛顿求解器中使用时，双重外推需要额外的坐标下降步骤来初始化对偶序列，虽部分抵消了性能增益，但仍提升了整体效率。
• 该方法在保持收敛性保证的同时，提供了更紧致的对偶间隙估计，支持更早终止与更激进的变量筛选。