[论文解读] Dynamic Sasvi: Strong Safe Screening for Norm-Regularized Least Squares

Hiroaki Yamada, Makoto Yamada|arXiv (Cornell University)|Feb 8, 2021

Sparse and Compressive Sensing Techniques参考文献 26被引用 5

一句话总结

本文提出 Dynamic Sasvi，一种用于范数正则化最小二乘问题的新型动态安全筛选规则，利用 Fenchel-Rockafellar 对偶性，实现更强的、与问题自适应的特征消除，且无需精确求解更正则化的问题。该方法在理论和实践上均显著优于现有的 Gap Safe 方法，能更早地消除更多特征，并大幅加速求解器。

ABSTRACT

A recently introduced technique for a sparse optimization problem called "safe screening" allows us to identify irrelevant variables in the early stage of optimization. In this paper, we first propose a flexible framework for safe screening based on the Fenchel-Rockafellar duality and then derive a strong safe screening rule for norm-regularized least squares by the framework. We call the proposed screening rule for norm-regularized least squares "dynamic Sasvi" because it can be interpreted as a generalization of Sasvi. Unlike the original Sasvi, it does not require the exact solution of a more strongly regularized problem; hence, it works safely in practice. We show that our screening rule can eliminate more features and increase the speed of the solver in comparison with other screening rules both theoretically and experimentally.

研究动机与目标

• 开发一个基于 Fenchel-Rockafellar 对偶性的灵活且可推广的安全筛选框架。
• 推导一种动态筛选规则——Dynamic Sasvi，其在不需精确求解辅助问题的前提下，可安全地应用于实际场景，同时推广了顺序 Sasvi 方法。
• 在筛选能力与计算效率方面，优于现有的动态筛选方法（如 Gap Safe Sphere 和 Gap Safe Dome）。
• 提出 Dynamic EDPP 作为 Dynamic Sasvi 的松弛变体，计算成本更低，且筛选性能几乎等同。

提出的方法

• 该框架基于 Fenchel-Rockafellar 对偶性构建，可对凸优化问题的一般性安全筛选区域进行推导。
• Dynamic Sasvi 作为 Sasvi 规则的动态变体被推导而出，其利用通过变分不等式和问题自适应不等式定义的对偶可行区域。
• 该方法在迭代优化过程中动态筛选特征，通过判断对偶解是否位于保证对偶变量为零的区域之外来实现。
• Dynamic EDPP 通过将精确筛选区域替换为最小半径球体，作为 Dynamic Sasvi 的一种松弛形式，从而降低计算开销。
• 筛选规则在坐标下降过程中迭代应用，基于对偶间隙和基于投影的准则进行特征剔除。
• 理论保证确保所有被筛选的特征在最终解中确实为零，从而保持最优性。

实验结果

研究问题

• RQ1 能否构建一个基于对偶性的通用框架，以统一并扩展现有的安全筛选技术？
• RQ2 能否设计一种动态筛选规则，使其在范数正则化最小二乘问题上强于 Gap Safe Sphere 和 Gap Safe Dome？
• RQ3 所提出的 Dynamic Sasvi 规则是否能比最先进的动态筛选方法更早地消除更多特征，并更有效地加速求解器？
• RQ4 与精确的 Dynamic Sasvi 相比，松弛版的 Dynamic EDPP 在筛选能力和计算成本方面表现如何？

主要发现

• 在理论分析和真实数据集的实验评估中，Dynamic Sasvi 比 Gap Safe Sphere 和 Gap Safe Dome 消除更多特征。
• 在 Leukemia 数据集上，Dynamic Sasvi 在 λ = 10^8 时达到 -0.987 ± 0.057 的对数加速比，显著优于 Gap Safe Sphere 的 -0.907 ± 0.066。
• 在 20newsgroup 数据集上，Dynamic Sasvi 在 λ = 10^8 时达到 -0.604 ± 0.023 的对数加速比，再次优于 Gap Safe Sphere 的 -0.572 ± 0.024。
• Dynamic EDPP 达到了与 Dynamic Sasvi 几乎相同的筛选性能，但计算成本更低，因此是一种实用的替代方案。
• 在 Leukemia 和 20newsgroup 数据集上，使用 Dynamic Sasvi 和 Dynamic EDPP 进行 Lasso 路径计算的平均耗时显著低于 Gap Safe 方法。
• 所提出的框架统一了 Gap Safe 和 Sasvi，支持对现有方法的统一推导，并可实现更强、更具自适应性的筛选规则。