[论文解读] A sparse semismooth Newton based augmented Lagrangian method for large-scale support vector machines

Dunbiao Niu, Chengjing Wang+3 more|arXiv (Cornell University)|Oct 3, 2019

Sparse and Compressive Sensing Techniques参考文献 46被引用 6

一句话总结

本文提出了一种基于稀疏半光滑牛顿法的增广拉格朗日方法（SSsNAL），用于大规模支持向量机问题，通过利用原始-对偶误差界和二阶稀疏性，实现快速的局部收敛。数值结果表明，SSsNAL在大规模SVM问题上的速度相比最先进求解器最高可提升100倍。

ABSTRACT

Support vector machines (SVMs) are successful modeling and prediction tools with a variety of applications. Previous work has demonstrated the superiority of the SVMs in dealing with the high dimensional, low sample size problems. However, the numerical difficulties of the SVMs will become severe with the increase of the sample size. Although there exist many solvers for the SVMs, only few of them are designed by exploiting the special structures of the SVMs. In this paper, we propose a highly efficient sparse semismooth Newton based augmented Lagrangian method for solving a large-scale convex quadratic programming problem with a linear equality constraint and a simple box constraint, which is generated from the dual problems of the SVMs. By leveraging the primal-dual error bound result, the fast local convergence rate of the augmented Lagrangian method can be guaranteed. Furthermore, by exploiting the second-order sparsity of the problem when using the semismooth Newton method,the algorithm can efficiently solve the aforementioned difficult problems. Finally, numerical comparisons demonstrate that the proposed algorithm outperforms the current state-of-the-art solvers for the large-scale SVMs.

研究动机与目标

• 解决由于样本规模增加而带来的大规模支持向量机求解中的数值挑战。
• 开发一种针对SVM对偶问题特定结构（特别是具有线性等式约束和框约束的凸二次规划）的高效算法。
• 利用原始-对偶误差界结果，确保增广拉格朗日方法的快速局部收敛。
• 利用半光滑牛顿法中的二阶稀疏性，加速子问题的求解。
• 在大规模SVM问题上，证明所提SSsNAL方法在速度和迭代次数方面优于现有最先进求解器。

提出的方法

• 将SVM对偶问题表述为具有线性等式约束和简单边界约束的凸二次规划，统一表示C-SVC和SVR的形式。
• 应用增广拉格朗日方法（ALM）求解对偶问题，确保全局收敛，并利用原始-对偶误差界实现快速的局部收敛。
• 使用半光滑牛顿（SsN）方法求解ALM中产生的子问题，利用牛顿系统中海塞矩阵的稀疏性。
• 在SsN步骤中引入稀疏线性系统求解策略，通过基于无界支持向量数量的较小系统求解，降低计算成本。
• 实现自适应线搜索和精确步长选择，以保证充分下降和全局收敛。
• 将SsN子问题求解器集成到ALM框架中，形成一种混合算法（SSsNAL），结合了ALM的全局收敛性和SsN的快速局部收敛性。

实验结果

研究问题

• RQ1 基于半光滑牛顿法的增广拉格朗日方法是否能高效地求解大规模SVM对偶问题？
• RQ2 在ALM框架中，对海塞矩阵的二阶稀疏性进行利用，对子问题求解的计算速度有何影响？
• RQ3 与FAPG和P2GP等最先进求解器相比，所提出的SSsNAL方法在大规模SVM问题上的性能提升如何？
• RQ4 原始-对偶误差界在所提算法中在多大程度上能保证快速的局部收敛？
• RQ5 无界支持向量的数量在实际中如何影响内层SsN子问题求解的效率？

主要发现

• 在大规模SVM问题上，SSsNAL方法相比FAPG和P2GP最高可实现100倍的速度提升，尤其在最具挑战性的案例中表现显著。
• 对于大规模问题，无界支持向量的数量远小于训练样本总数，使得通过小规模线性系统高效求解SsN子问题成为可能。
• 在RBF核的SVR问题上，SSsNAL仅需8(3)至149(340,595)次迭代，耗时29秒至2:15分钟，无论在时间还是迭代次数上均优于FAPG和P2GP。
• KKT残差降低至10^-6以下，均方误差（MSE）值分别为cadata数据集的2.88×10^-2、abalone数据集的4.63×10^-2和space_ga数据集的1.15×10^-1，表明解的精度很高。
• 该算法在多个数据集和随机划分下均表现出稳健性能，收敛速度和迭代次数始终具有显著优势。
• 原始-对偶误差界与稀疏SsN子问题求解的结合，确保了快速的局部收敛，同时保持了全局收敛性和高效率。