[论文解读] Screening Rules for Overlapping Group Lasso

Seunghak Lee, Eric P. Xing|arXiv (Cornell University)|Oct 25, 2014

Statistical Methods and Inference参考文献 25被引用 9

一句话总结

本文提出了重叠组lasso的精确筛选规则，通过利用对偶多面体投影并仅关注包含性重叠组，实现了高效剔除系数为零的组。该方法通过允许在存在重叠的情况下对每组独立进行筛选，在大规模回归问题中实现了显著加速——在PIE图像数据集上最高达3.7倍。该方法在实践中优于非重叠组lasso的筛选规则。

ABSTRACT

Recently, to solve large-scale lasso and group lasso problems, screening rules have been developed, the goal of which is to reduce the problem size by efficiently discarding zero coefficients using simple rules independently of the others. However, screening for overlapping group lasso remains an open challenge because the overlaps between groups make it infeasible to test each group independently. In this paper, we develop screening rules for overlapping group lasso. To address the challenge arising from groups with overlaps, we take into account overlapping groups only if they are inclusive of the group being tested, and then we derive screening rules, adopting the dual polytope projection approach. This strategy allows us to screen each group independently of each other. In our experiments, we demonstrate the efficiency of our screening rules on various datasets.

研究动机与目标

• 为解决重叠组lasso中的筛选挑战，其中组重叠导致无法独立测试各组。
• 开发精确筛选规则，通过永不剔除真实非零系数来保持最优性。
• 通过识别并剔除优化前系数为零的组，实现问题规模的高效缩减。
• 通过在筛选过程中仅考虑包含性组，将对偶多面体投影（DPP）规则扩展至重叠组lasso。
• 证明所提规则在特征剔除效率方面显著优于非重叠组lasso筛选规则。

提出的方法

• 该方法利用对偶多面体投影（DPP）基于重叠组lasso问题的对偶解推导筛选规则。
• 将重叠组的考虑范围限制为仅被测试组的子集，从而实现独立筛选。
• 筛选条件通过检查包含组中残差向量的最小范数是否低于涉及组大小和对偶变量变化的阈值来判断。
• 核心规则通过使用Minkowski不等式和柯西-施瓦茨不等式计算对偶残差的下界，以判断某组系数是否必然为零。
• 该方法在筛选后仅使用保留的组重新表述原始问题，从而降低计算成本。
• 该方法进一步扩展至稀疏重叠组lasso，并通过与组DPP（GDPP）规则的实证比较得到验证。

实验结果

研究问题

• RQ1 能否为重叠组lasso开发精确筛选规则，其中组重叠导致无法独立测试各组？
• RQ2 如何将对偶多面体投影（DPP）框架适配以处理组lasso问题中的重叠组？
• RQ3 仅限制筛选为包含性重叠组是否能保持精确性并相比非重叠规则提升效率？
• RQ4 所提筛选规则在多大程度上减少了问题规模并加速了真实世界数据集中的优化？
• RQ5 在速度和剔除效率方面，所提规则与现有非重叠组lasso筛选规则相比表现如何？

主要发现

• 所提出的重叠组lasso筛选（OLS）和稀疏重叠组lasso筛选（SOLS）规则是精确的，确保不会剔除真实非零系数。
• 在PIE图像数据集上，OLS相比非筛选的重叠组lasso求解器实现了3.7倍的加速。
• SOLS在同一数据集上实现了3倍的加速，证实了在实际场景中的效率提升。
• 在各种实验设置中，OLS和SOLS规则在剔除系数为零的组方面优于组DPP（GDPP）规则。
• 通过仅考虑包含性重叠组，该方法实现了每组独立筛选，既保持了精确性又提升了可扩展性。
• 理论分析证实，筛选条件是某组系数为零的充分条件，其依据为对偶变量的接近程度和组结构。