[论文解读] Fast Epigraphical Projection-based Incremental Algorithms for Wasserstein Distributionally Robust Support Vector Machine

Jiajin Li, Caihua Chen+1 more|arXiv (Cornell University)|Oct 24, 2020

Sparse and Compressive Sensing Techniques参考文献 26被引用 6

一句话总结

本文提出两种基于epigraphical projection的新型增量算法，用于求解Wasserstein分布鲁棒支持向量机（DRSVM），利用高效的闭式更新和在Hölderian增长条件下保证的收敛性。与最先进求解器相比，该方法在大规模问题上实现了数量级的速度提升，且随着数据集规模增大，实证结果表明性能显著提升。

ABSTRACT

Wasserstein extbf{D}istributionally extbf{R}obust extbf{O}ptimization (DRO) is concerned with finding decisions that perform well on data that are drawn from the worst-case probability distribution within a Wasserstein ball centered at a certain nominal distribution. In recent years, it has been shown that various DRO formulations of learning models admit tractable convex reformulations. However, most existing works propose to solve these convex reformulations by general-purpose solvers, which are not well-suited for tackling large-scale problems. In this paper, we focus on a family of Wasserstein distributionally robust support vector machine (DRSVM) problems and propose two novel epigraphical projection-based incremental algorithms to solve them. The updates in each iteration of these algorithms can be computed in a highly efficient manner. Moreover, we show that the DRSVM problems considered in this paper satisfy a Hölderian growth condition with explicitly determined growth exponents. Consequently, we are able to establish the convergence rates of the proposed incremental algorithms. Our numerical results indicate that the proposed methods are orders of magnitude faster than the state-of-the-art, and the performance gap grows considerably as the problem size increases.

研究动机与目标

• 为解决通用求解器在求解大规模Wasserstein分布鲁棒SVM问题时的可扩展性限制。
• 为在Wasserstein模糊集下DRSVM的凸重构问题，开发高效且增量式的优化算法。
• 通过证明DRSVM问题满足Hölderian增长条件并明确确定指数，建立收敛速率。
• 在问题规模增大时，实现相对于现有方法的显著加速。
• 为基于DRO的学习模型提供一种可扩展的替代方案，以替代YALMIP和CPLEX等现成求解器。

提出的方法

• 提出两种基于epigraphical projection的增量算法，利用DRSVM问题的结构实现高效的每次迭代更新。
• 使用算子分裂和ADMM将$w$-子问题分解为具有闭式解的子问题。
• 采用单样本近端点法，并通过$\rho_{k+1} = \gamma \rho_k$自适应更新惩罚参数以实现加速。
• 通过引入辅助变量$y$和$g$重述$w$-子问题，以实现对$\ell_q$-范数约束的高效投影。
• 采用标准ADMM框架并结合收缩惩罚策略，以增强收敛性和稳定性。
• 通过变量缩放推导出变换后的问题(28)，保持与原始问题相同的结构，从而实现高效计算。

实验结果

研究问题

• RQ1 基于epigraphical projection的增量算法是否能在收敛速度和可扩展性方面优于通用求解器，用于Wasserstein DRSVM？
• RQ2 DRSVM问题是否满足Hölderian增长条件？该条件能否用于建立收敛速率？
• RQ3 在真实世界UCI数据集上，所提算法在运行时间与目标值精度方面表现如何？
• RQ4 问题规模对所提方法与最先进求解器之间性能差距的影响是什么？
• RQ5 自适应惩罚参数更新与闭式投影的结合是否能在大规模DRSVM优化中带来显著加速？

主要发现

• 所提出的M-ISG和IPPA算法相比YALMIP和CPLEX实现了数量级的更快收敛速度，且随着问题规模增大，性能差距进一步扩大。
• 在a9a数据集上，M-ISG方法在$\ell_1$-DRSVM上仅用3.018秒完成，而YALMIP耗时642.160秒，提速达213倍。
• 在a9a数据集上，对于$\ell_\infty$-DRSVM，M-ISG耗时3.368秒，而YALMIP耗时753.330秒，提速达224倍。
• 所有所提方法均在最优解的1e-6范围内达到目标值，证实了高精度。
• 在所测试的全部9个UCI数据集上，算法表现出一致的优越性，M-ISG和IPPA在速度与收敛性方面均优于Hybrid和YALMIP。
• 理论分析证实DRSVM问题满足Hölderian增长条件，且指数可明确确定，从而支持收敛速率的保证。