[论文解读] Fast OSCAR and OWL Regression via Safe Screening Rules

Runxue Bao, Bin Gu+1 more|arXiv (Cornell University)|Jun 29, 2020

Sparse and Compressive Sensing Techniques参考文献 32被引用 8

一句话总结

本文提出了首个适用于有序加权L1（OWL）回归的安全筛选规则，通过迭代策略利用原始解的排序结构与对偶间隙，提前识别并剔除不活跃变量。该方法在不损失准确性的前提下实现了高达40倍的计算加速，且兼容批量与随机近端梯度方法。

ABSTRACT

Ordered Weighted $L_{1}$ (OWL) regularized regression is a new regression analysis for high-dimensional sparse learning. Proximal gradient methods are used as standard approaches to solve OWL regression. However, it is still a burning issue to solve OWL regression due to considerable computational cost and memory usage when the feature or sample size is large. In this paper, we propose the first safe screening rule for OWL regression by exploring the order of the primal solution with the unknown order structure via an iterative strategy, which overcomes the difficulties of tackling the non-separable regularizer. It effectively avoids the updates of the parameters whose coefficients must be zero during the learning process. More importantly, the proposed screening rule can be easily applied to standard and stochastic proximal gradient methods. Moreover, we prove that the algorithms with our screening rule are guaranteed to have identical results with the original algorithms. Experimental results on a variety of datasets show that our screening rule leads to a significant computational gain without any loss of accuracy, compared to existing competitive algorithms.

研究动机与目标

• 解决由于OWL回归的非可分惩罚结构导致缺乏安全筛选规则的问题。
• 克服OWL中每变量正则化超参数未固定所带来的挑战，该问题阻碍了标准筛选技术的应用。
• 开发一种既安全（无误删相关特征的风险）又有效降低优化过程中计算成本的筛选规则。
• 确保与标准及随机近端梯度方法兼容，以在大规模学习中实现广泛适用性。
• 保证最终解与原始算法完全一致，从而保持模型的准确性。

提出的方法

• 基于中间对偶间隙提出一种新型安全筛选规则，用于识别其系数必为零的变量。
• 采用迭代策略探索原始解的排序结构，即使在非可分情况下也能实现有效筛选。
• 将筛选规则集成到批量与随机近端梯度下降（APGD与SPGD）算法中。
• 利用对偶间隙在优化过程中动态更新筛选阈值，确保规则的安全性与紧致性。
• 推导出筛选条件的紧致上界，实现对不活跃特征的早期且激进的剔除。
• 证明筛选算法与原始算法在理论上等价，确保解的质量无损失。

实验结果

研究问题

• RQ1 尽管OWL回归具有非可分惩罚结构且超参数未固定，是否仍可开发出安全筛选规则？
• RQ2 如何利用原始解的排序结构推导出适用于OWL的有效筛选规则？
• RQ3 在批量与随机设置下，筛选技术能在多大程度上降低OWL回归的计算成本？
• RQ4 所提出的筛选规则是否能与原始算法保持相同的解与预测准确率？
• RQ5 在筛选率与不活跃变量的早期剔除方面，该筛选规则的效率如何？

主要发现

• 所提出的筛选规则在大规模数据集上，相较于原始APGD与SPGD算法，实现了高达40倍的计算加速。
• 在随机设置下，当n ≪ d时，训练速度提升5至22倍；当n ≈ d或n ≫ d时，加速最高可达40倍。
• 不活跃变量的筛选率接近100%，其中大多数在早期迭代中即被识别并移除。
• 筛选算法的预测误差与原始算法完全相同，证实了该规则的安全性与正确性。
• 该方法在稀疏与大规模数据集上均表现有效，且在更稀疏的设置下获得更大的性能增益。
• 筛选规则兼容批量与随机近端梯度方法，显著提升了其实际应用价值。