[论文解读] Lasso Screening Rules via Dual Polytope Projection

Jie Wang, Peter Wonka+1 more|arXiv (Cornell University)|Nov 16, 2012

Statistical Methods and Inference参考文献 42被引用 130

一句话总结

本文提出了用于Lasso和组Lasso回归的双重多面体投影（DPP）筛选规则，利用对偶问题的几何特性，通过将解投影到凸多面体上，精确估计最优对偶解。该方法通过识别系数为零的非活跃预测变量，确保筛选的安全性，显著提升了现有最先进规则的计算效率。

ABSTRACT

Lasso is a widely used regression technique to find sparse representations. When the dimension of the feature space and the number of samples are extremely large, solving the Lasso problem remains challenging. To improve the efficiency of solving large-scale Lasso problems, El Ghaoui and his colleagues have proposed the SAFE rules which are able to quickly identify the inactive predictors, i.e., predictors that have $0$ components in the solution vector. Then, the inactive predictors or features can be removed from the optimization problem to reduce its scale. By transforming the standard Lasso to its dual form, it can be shown that the inactive predictors include the set of inactive constraints on the optimal dual solution. In this paper, we propose an efficient and effective screening rule via Dual Polytope Projections (DPP), which is mainly based on the uniqueness and nonexpansiveness of the optimal dual solution due to the fact that the feasible set in the dual space is a convex and closed polytope. Moreover, we show that our screening rule can be extended to identify inactive groups in group Lasso. To the best of our knowledge, there is currently no "exact" screening rule for group Lasso. We have evaluated our screening rule using synthetic and real data sets. Results show that our rule is more effective in identifying inactive predictors than existing state-of-the-art screening rules for Lasso.

研究动机与目标

• 开发安全筛选规则，确保在大规模Lasso问题中不会错误剔除任何活跃特征。
• 利用对偶问题的几何结构，特别是投影到凸多面体上的特性，改进对偶解的估计。
• 将筛选框架扩展至组Lasso，此前该领域尚无精确的安全筛选规则。
• 设计序列化筛选规则，以高效计算多个正则化参数下的解路径。
• 在高维设置下，实现比SAFE和强规则等现有方法更高的筛选有效性。

提出的方法

• 将Lasso问题转化为对偶形式，其中最优对偶解是将缩放响应向量投影到闭凸多面体上的结果。
• 利用投影算子的非扩张性和强非扩张性，推导出精确的对偶解估计。
• 通过改进对偶解估计，提出增强型DPP（EDPP）规则，从而提升对非活跃预测变量的识别能力。
• 将相同的几何原理应用于组Lasso，通过在对偶变量上施加分组约束来构建对偶问题。
• 在对偶空间中推导KKT条件，基于对偶变量投影范数，刻画组系数为零的情形。
• 提出一种序列化筛选变体，通过重用先前解来加速在正则化参数路径上的筛选过程。

实验结果

研究问题

• RQ1 能否利用对偶问题的几何特性，构建更精确的Lasso筛选对偶解估计？
• RQ2 DPP框架能否扩展至组Lasso？目前该领域尚无安全筛选规则。
• RQ3 DPP与EDPP在筛选有效性与计算速度方面，相较于现有安全与启发式筛选规则表现如何？
• RQ4 能否通过DPP实现序列化筛选，提升在正则化参数网格上求解Lasso的效率？
• RQ5 DPP规则在不产生假阴性的情况下，识别非活跃特征的理论保证是什么？

主要发现

• 所提出的DPP与EDPP筛选规则在高维设置下，相较于现有最先进方法（如SAFE和强规则）展现出更高的筛选有效性。
• 由于对偶解估计的改进，EDPP识别出的非活跃预测变量显著多于DPP，从而带来更大的计算加速。
• 该方法是首个基于对偶可行集几何结构的组Lasso精确安全筛选规则。
• DPP的序列化版本可实现沿解路径的高效筛选，显著降低在多个正则化参数下求解Lasso的计算时间。
• 在合成数据集与真实数据集上的实证评估表明，基于DPP的规则在筛选率与运行时间减少方面均优于现有方法。
• 理论分析证实，筛选规则是安全的，即永远不会错误剔除任何活跃特征。