[论文解读] Expanding boundaries of Gap Safe screening

Cássio F. Dantas, Emmanuel Soubies+1 more|arXiv (Cornell University)|Feb 22, 2021

Data-Driven Disease Surveillance参考文献 39被引用 7

一句话总结

该论文通过放松对对偶目标函数的全局强凸性要求，并引入非负性约束，扩展了Gap Safe筛选框架，使其适用于更广泛的优化问题，包括$\beta$-散度（如Kullback-Leibler散度）。该方法在逻辑回归上提升了筛选性能，并实现了稀疏优化中高效且可证明正确的变量消除，计算开销极低。

ABSTRACT

Sparse optimization problems are ubiquitous in many fields such as statistics, signal/image processing and machine learning. This has led to the birth of many iterative algorithms to solve them. A powerful strategy to boost the performance of these algorithms is known as safe screening: it allows the early identification of zero coordinates in the solution, which can then be eliminated to reduce the problem's size and accelerate convergence. In this work, we extend the existing Gap Safe screening framework by relaxing the global strong-concavity assumption on the dual cost function. Instead, we exploit local regularity properties, that is, strong concavity on well-chosen subsets of the domain. The non-negativity constraint is also integrated to the existing framework. Besides making safe screening possible to a broader class of functions that includes beta-divergences (e.g., the Kullback-Leibler divergence), the proposed approach also improves upon the existing Gap Safe screening rules on previously applicable cases (e.g., logistic regression). The proposed general framework is exemplified by some notable particular cases: logistic function, beta = 1.5 and Kullback-Leibler divergences. Finally, we showcase the effectiveness of the proposed screening rules with different solvers (coordinate descent, multiplicative-update and proximal gradient algorithms) and different data sets (binary classification, hyperspectral and count data).

研究动机与目标

• 将Gap Safe筛选框架扩展至对偶函数不再满足全局强凸性假设的问题。
• 将非负性约束正式整合入安全筛选框架，以支持稀疏优化。
• 使安全筛选适用于更广泛的损失函数类别，包括$\beta$-散度（如Kullback-Leibler散度）。
• 通过更充分地利用局部强凸性，提升以往适用问题（如逻辑回归）的筛选性能。
• 提供一种通用、计算高效的筛选规则，适用于多种求解器与数据类型。

提出的方法

• 通过在对偶域的特定子集上利用局部强凸性，放松对全局强凸性的假设。
• 通过修改对偶变量缩放与投影方式，将非负性约束（$\mathcal{C} = \mathbb{R}^n_+$）整合进Gap Safe框架。
• 提出一种基于Gap Safe球与集合$\mathcal{S}_0$相交的新筛选测试，利用对偶解的边界信息。
• 通过$\mathbf{a}_j^T\bm{\rho}(\mathbf{x})$与预计算范数，高效计算$\mathbf{a}_j^T\bm{\Theta}(\mathbf{x})$，最大限度降低额外开销。
• 利用对偶间隙与对偶变量收敛性，定义一个可安全移除非活跃变量的区域。
• 将该框架应用于多种求解器（坐标下降、乘法更新、近端梯度）与损失函数（$\beta=1.5$，KL散度，逻辑回归）。

实验结果

研究问题

• RQ1 安全筛选能否扩展至对偶函数不满足全局强凸性的问题？
• RQ2 非负性约束如何被正式整合进Gap Safe筛选框架？
• RQ3 利用局部强凸性是否能提升逻辑回归及其他非二次损失下的筛选性能？
• RQ4 所提出的筛选规则在实际中能否以极低开销高效计算？
• RQ5 新筛选规则对不同数据类型与求解器的收敛速度有何影响？

主要发现

• 所提框架将安全筛选扩展至对偶函数具有局部强凸性的优化问题，突破了原有对全局强凸性的依赖。
• 引入非负性约束后，可对非负稀疏优化问题（如$\beta$-散度下的非负矩阵分解）实现安全筛选。
• 通过利用局部正则性，该方法在逻辑回归上提升了筛选性能，实现更激进的变量剔除。
• $\beta=1.5$与Kullback-Leibler散度的筛选规则在理论上成立且计算高效，开销极低。
• 实验结果表明，该方法在多种求解器与数据集（包括二值分类、高光谱与计数数据）上均实现了显著加速。
• $\mathbf{a}_j^T\bm{\Theta}(\mathbf{x})$的计算可基于现有求解器输出量高效推导，实现与求解器的无缝集成，运行时开销可忽略。