[论文解读] Hybrid safe-strong rules for efficient optimization in lasso-type problems

Yaohui Zeng, Tianbao Yang+1 more|arXiv (Cornell University)|Apr 27, 2017

Machine Learning and Algorithms参考文献 27被引用 4

一句话总结

本文提出混合安全-强规则（HSSR），结合安全筛选规则的可靠性与序列强规则（SSR）的效率，以加速Lasso型优化。通过将安全规则整合至SSR框架中，该方法大幅减少了收敛后的KKT检查次数，在相关性和高维数据上相较最先进方法实现高达70%的加速。

ABSTRACT

The lasso model has been widely used for model selection in data mining, machine learning, and high-dimensional statistical analysis. However, with the ultrahigh-dimensional, large-scale data sets now collected in many real-world applications, it is important to develop algorithms to solve the lasso that efficiently scale up to problems of this size. Discarding features from certain steps of the algorithm is a powerful technique for increasing efficiency and addressing the Big Data challenge. In this paper, we propose a family of hybrid safe-strong rules (HSSR) which incorporate safe screening rules into the sequential strong rule (SSR) to remove unnecessary computational burden. In particular, we present two instances of HSSR, namely SSR-Dome and SSR-BEDPP, for the standard lasso problem. We further extend SSR-BEDPP to the elastic net and group lasso problems to demonstrate the generalizability of the hybrid screening idea. Extensive numerical experiments with synthetic and real data sets are conducted for both the standard lasso and the group lasso problems. Results show that our proposed hybrid rules can substantially outperform existing state-of-the-art rules.

研究动机与目标

• 解决大数据应用中常见的超高维Lasso问题的计算瓶颈。
• 克服现有筛选规则的局限性——安全规则过于保守，而强规则可能错误剔除活跃特征。
• 开发一种混合框架，结合几何边界的安全性与强规则的激进性，以在不牺牲正确性的前提下最大化效率。
• 证明该混合方法在弹性网络和组Lasso问题中的通用性。
• 通过在SSR框架内预先利用安全规则剔除特征，最小化优化后的非必要KKT检查。

提出的方法

• 提出一种混合筛选框架HSSR，先应用安全规则过滤特征，再应用序列强规则（SSR），从而减少需进行KKT验证的特征数量。
• 提出两种具体的HSSR实例：SSR-Dome与SSR-BEDPP，分别将Dome检验与EDPP安全规则集成至SSR框架中。
• 利用Lasso的对偶形式定义对偶解的紧凑区域，通过KKT条件实现安全特征剔除：$|\mathbf{x}_j^T\boldsymbol{\theta}(\lambda)| < \lambda \Rightarrow \widehat{\beta}_j = 0$。
• 利用SSR中的单位斜率假设推导强规则，跳过可能不会激活的特征的更新，并通过事后检查确保正确性。
• 将SSR-BEDPP扩展至弹性网络与组Lasso问题，通过调整安全区域与对偶边界以适应分组与岭回归结构。
• 将混合规则形式化为两阶段过程：(1) 安全筛选剔除可保证为零的特征；(2) SSR进一步剔除高概率为零的特征，从而最小化KKT检查。

实验结果

研究问题

• RQ1 将安全规则与强规则结合是否能显著减少求解Lasso问题的计算时间，同时不损害解的正确性？
• RQ2 特征相关性如何影响混合筛选规则相较于独立使用安全或强规则的性能表现？
• RQ3 该混合框架在其他Lasso型问题（如弹性网络与组Lasso）中的通用性达到何种程度？
• RQ4 在高相关性条件下，混合规则的筛选激进性与可靠性之间存在何种权衡？
• RQ5 该混合方法是否能显著减少优化后所需的KKT检查次数，从而加速收敛？

主要发现

• 在低至中等相关性的合成数据上，所提出的SSR-BEDPP规则相比标准SSR平均计算时间减少53%，相比SEDDP减少44%。
• 在成对相关性最高达0.5的数据上，混合规则（SSR-Dome与SSR-BEDPP）比单独使用安全或强规则快30%–70%。
• 在高相关性设置（ρ = 0.8）下，强规则失效，混合规则亦表现不佳，表明在极端依赖条件下存在性能上限。
• 在真实世界数据中，混合规则展现出强大的实际性能，证实其在真实相关性结构下的有效性。
• 在低相关性环境下，混合方法使KKT检查次数减少超过90%，显著加速了最终收敛阶段。
• SSR-BEDPP在所有方法中运行时间最短，在无相关性设计下对100个λ值的平均时间为3.22秒（标准误0.05），优于基础PCD（10.92秒）与AC（6.15秒）。