[论文解读] A Safe Screening Rule for Sparse Logistic Regression

Jie Wang, Jiayu Zhou+3 more|arXiv (Cornell University)|Jul 16, 2013

Face and Expression Recognition参考文献 31被引用 57

一句话总结

本文提出Slores，一种用于稀疏逻辑回归的新颖安全筛选规则，可高效识别并剔除解中系数为零的特征。通过将特征向量与对偶最优解之间内积的上界估计建模为具有闭式解的约束凸优化问题，Slores 实现了一次数据扫描，且在不牺牲安全性的前提下，将求解稀疏逻辑回归的速度提升至多10倍——这与强规则等启发式规则不同。

ABSTRACT

The l1-regularized logistic regression (or sparse logistic regression) is a widely used method for simultaneous classification and feature selection. Although many recent efforts have been devoted to its efficient implementation, its application to high dimensional data still poses significant challenges. In this paper, we present a fast and effective sparse logistic regression screening rule (Slores) to identify the 0 components in the solution vector, which may lead to a substantial reduction in the number of features to be entered to the optimization. An appealing feature of Slores is that the data set needs to be scanned only once to run the screening and its computational cost is negligible compared to that of solving the sparse logistic regression problem. Moreover, Slores is independent of solvers for sparse logistic regression, thus Slores can be integrated with any existing solver to improve the efficiency. We have evaluated Slores using high-dimensional data sets from different applications. Extensive experimental results demonstrate that Slores outperforms the existing state-of-the-art screening rules and the efficiency of solving sparse logistic regression is improved by one magnitude in general.

研究动机与目标

• 为解决高维数据下大规模稀疏逻辑回归问题的计算挑战。
• 开发一种筛选规则，可安全识别并剔除解中系数为零的特征，确保不会移除任何有效特征。
• 设计一种仅需对数据进行一次扫描且与主优化过程相比计算开销可忽略的方法。
• 创建一种与求解器无关的筛选规则，可无缝集成至现有稀疏逻辑回归求解器中以提升效率。

提出的方法

• 提出Slores作为ℓ₁-正则化逻辑回归的安全筛选规则，确保不会剔除具有非零系数的特征。
• 通过约束凸优化问题估计每个特征向量与对偶最优解之间内积的上界。
• 推导出上界估计的闭式解，从而实现高效计算且开销极小。
• 采用基于对偶的框架，将筛选条件转化为可计算的优化问题，利用逻辑损失的结构特性。
• 通过基于投影的重构方法简化对偶问题，并推导出最优上界估计。
• 将筛选规则作为独立于稀疏逻辑回归求解器选择的预处理步骤集成。

实验结果

研究问题

• RQ1 能否为ℓ₁-正则化逻辑回归开发一种安全筛选规则，以保证不会剔除具有非零系数的特征？
• RQ2 在缺乏闭式解的情况下，如何高效估计特征与对偶最优解之间内积的准确上界？
• RQ3 能否以可忽略的计算成本仅通过一次数据扫描完成筛选规则的计算？
• RQ4 与SAFE规则、强规则和DOME规则等现有方法相比，所提出的筛选规则在有效性和效率方面表现如何？
• RQ5 Slores在求解稀疏逻辑回归前，能在多大程度上降低高维数据集的维度？

主要发现

• Slores在特征剔除数量上显著优于最先进的SAFE规则，尤其在高正则化水平（λ/λ_max > 0.5）下表现更优。
• 在多个高维数据集上，Slores将求解稀疏逻辑回归的速度提升至多10倍，展现出效率提升一个数量级。
• 与强规则不同，Slores具有可证明的安全性——从不剔除解中本应具有非零系数的特征。
• 筛选规则仅需一次数据扫描，且计算开销可忽略，作为预处理步骤极为高效。
• 上界估计的闭式解支持快速且可扩展的实现，且独立于主求解器的选择。
• 在真实世界数据集（包括前列腺癌数据集，132名患者，15,154个特征）上的大量实验表明，Slores在各类正则化参数下均展现出更优的剔除率和鲁棒性。