[论文解读] Fast Overlapping Group Lasso

Jun Liu, Jieping Ye|arXiv (Cornell University)|Sep 2, 2010

Statistical Methods and Inference参考文献 27被引用 34

一句话总结

该论文提出 FoGLasso，一种基于加速梯度下降并结合通过平滑对偶问题求解实现新型邻近算子计算的重叠组Lasso高效算法。通过早期识别零组并利用热启动，FoGLasso 在基因表达数据上的运行速度相比 SLasso 最快提升 70 倍，展现出卓越的可扩展性和收敛性能。

ABSTRACT

The group Lasso is an extension of the Lasso for feature selection on (predefined) non-overlapping groups of features. The non-overlapping group structure limits its applicability in practice. There have been several recent attempts to study a more general formulation, where groups of features are given, potentially with overlaps between the groups. The resulting optimization is, however, much more challenging to solve due to the group overlaps. In this paper, we consider the efficient optimization of the overlapping group Lasso penalized problem. We reveal several key properties of the proximal operator associated with the overlapping group Lasso, and compute the proximal operator by solving the smooth and convex dual problem, which allows the use of the gradient descent type of algorithms for the optimization. We have performed empirical evaluations using the breast cancer gene expression data set, which consists of 8,141 genes organized into (overlapping) gene sets. Experimental results demonstrate the efficiency and effectiveness of the proposed algorithm.

研究动机与目标

• 解决重叠组Lasso的高效优化挑战，其复杂度高于非重叠组Lasso，因存在组间重叠。
• 开发一种适用于大规模重叠组Lasso问题的可扩展且高效的算法，尤其适用于高维生物数据。
• 克服现有方法（如 SLasso）的局限性，后者存在昂贵的矩阵求逆操作且缺乏全局收敛性保证。
• 使重叠组Lasso在实际应用场景（如基因表达分析）中得以实用化，其中特征天然形成重叠组。

提出的方法

• 使用加速梯度下降（AGD）以实现重叠组Lasso问题的快速收敛。
• 通过求解平滑且凸的对偶问题来计算邻近算子，从而实现基于梯度方法的高效优化。
• 应用引理3以早期识别并剔除零组，显著减小需求解的对偶问题规模。
• 通过复用较大正则化参数下的解作为初始值，实现热启动，加速收敛。
• 使用对偶间隙作为收敛准则，确保解的质量与终止精度。
• 将邻近算子计算重新表述为具有Lipschitz连续梯度的对偶优化问题，适用于快速求解器。

实验结果

研究问题

• RQ1 能否在无解析解的情况下高效计算重叠组Lasso的邻近算子？
• RQ2 如何利用组重叠特性降低组Lasso优化中的计算复杂度？
• RQ3 加速梯度下降能否有效应用于具有非光滑惩罚项的重叠组Lasso？
• RQ4 在真实世界数据上，所提方法与 SLasso 等现有方法相比，在效率和可扩展性方面表现如何？
• RQ5 重叠组结构对高维生物数据中分类性能的影响如何？

主要发现

• 在使用重叠边的 2,000 个基因上，FoGLasso 的计算速度相比 SLasso 最快提升 70 倍，1,000 个基因时提速达 25 倍。
• 经过 50 次迭代后，FoGLasso 识别出 80% 的零组，显著降低对偶优化的有效问题规模。
• 由于问题规模减小和热启动的引入，求解邻近算子的内层迭代次数随时间递减。
• 在使用重叠通路时，FoGLasso 与 Lasso 的分类性能相当；但使用重叠边时，FoGLasso 显著优于 Lasso。
• 使用基于边的组时，FoGLasso 的平衡误差率更低（分类性能更优），相比基于通路的组。
• 对偶间隙被有效用于监控收敛性并确保解的质量，终止条件为间隙小于 10⁻¹⁰。