[论文解读] A note on the group lasso and a sparse group lasso

Jerome H. Friedman, Trevor Hastie+1 more|arXiv (Cornell University)|Jan 5, 2010

Statistical Methods and Inference参考文献 5被引用 656

一句话总结

本文提出了稀疏组套索（sparse group lasso），一种结合L1和组套索惩罚的凸优化方法，可在组级别和单个特征级别同时实现稀疏性。该文提出了一种高效的坐标下降算法，适用于非正交设计矩阵，从而在具有分组预测变量的高维线性模型中实现有效的变量选择。

ABSTRACT

We consider the group lasso penalty for the linear model. We note that the standard algorithm for solving the problem assumes that the model matrices in each group are orthonormal. Here we consider a more general penalty that blends the lasso (L1) with the group lasso ("two-norm"). This penalty yields solutions that are sparse at both the group and individual feature levels. We derive an efficient algorithm for the resulting convex problem based on coordinate descent. This algorithm can also be used to solve the general form of the group lasso, with non-orthonormal model matrices.

研究动机与目标

• 通过提出一种可同时选择整个组和个体预测变量的惩罚项，解决标准组套索方法无法在组内诱导稀疏性的问题。
• 克服现有组套索算法中要求每组内预测变量必须正交的限制性假设。
• 开发一种计算高效的算法，用于求解稀疏组套索问题，并可推广至非正交设计矩阵下的标准组套索问题。
• 提供一个统一的计算框架，实现在高维线性模型中同时进行组级别和个体级别的稀疏选择。

提出的方法

• 提出稀疏组套索准则：最小化残差平方和，加上组套索（组内L2范数）与套索（个体系数L1范数）惩罚的组合。
• 使用块坐标下降法优化目标函数，每次仅更新一个组，其余组保持固定。
• 对于每个组，首先通过基于组内子梯度范数的条件判断该组是否应整体设为零；若否，则进入个体系数更新步骤。
• 对于组内个体系数，当梯度超过套索惩罚阈值时，通过一维优化应用软阈值处理。
• 通过最小化关于子梯度变量的二次函数，推导出判断是否应将整个组设为零的条件。
• 该算法适用于稀疏组套索和标准组套索，即使各组内的设计矩阵非正交也适用。

实验结果

研究问题

• RQ1 能否构造一种惩罚项，使高维线性模型在组级别和个体特征级别均实现稀疏性？
• RQ2 如何将组套索推广至处理每组内预测变量非正交的设计矩阵，同时不损害解的准确性？
• RQ3 可采用何种高效优化算法求解具有混合L1与组L2惩罚的凸问题？
• RQ4 当同时需要组级别与个体级别稀疏性时，所提方法是否在变量选择准确性上优于标准套索与组套索？
• RQ5 该算法能否适配任意设计矩阵，包括组内预测变量存在相关性的场景？

主要发现

• 稀疏组套索准则成功在组级别和个体特征级别均实现了稀疏性，可同时选择整个组与组内个体预测变量。
• 所提出的坐标下降算法高效求解稀疏组套索问题，并可推广至非正交设计矩阵下的标准组套索。
• 在100个预测变量（10组，每组10个）的模拟实验中，稀疏组套索在组与个体系数的误分类率上均低于套索与组套索。
• 该方法正确识别出真实的潜在组结构与非零个体系数，误分类的组数与个体特征数显著低于仅使用套索或组套索的方法。
• 当组内预测变量存在相关性时，该算法仍保持计算效率与收敛性，而基于正交化的方法可能扭曲解。
• 理论分析表明，由于目标函数的凸性以及对个体系数采用精确线搜索的块坐标下降法，该算法可收敛至全局最小值。