[论文解读] A Divide-and-Conquer Solver for Kernel Support Vector Machines

Cho‐Jui Hsieh, Si Si+1 more|arXiv (Cornell University)|Nov 4, 2013

Machine Learning and ELM参考文献 28被引用 131

一句话总结

本文提出 DC-SVM，一种用于核支持向量机的分治求解器，通过核 k-均值聚类将大规模数据集划分为子问题，独立求解较小的子问题。该方法利用子问题的解作为全局坐标下降的高质量初始值，实现比 LIBSVM 快达 100 倍的训练速度，同时保持高精度，在 covtype 数据集上实现精确解时提速 7 倍，使用早期预测时提速达 100 倍。

ABSTRACT

The kernel support vector machine (SVM) is one of the most widely used classification methods; however, the amount of computation required becomes the bottleneck when facing millions of samples. In this paper, we propose and analyze a novel divide-and-conquer solver for kernel SVMs (DC-SVM). In the division step, we partition the kernel SVM problem into smaller subproblems by clustering the data, so that each subproblem can be solved independently and efficiently. We show theoretically that the support vectors identified by the subproblem solution are likely to be support vectors of the entire kernel SVM problem, provided that the problem is partitioned appropriately by kernel clustering. In the conquer step, the local solutions from the subproblems are used to initialize a global coordinate descent solver, which converges quickly as suggested by our analysis. By extending this idea, we develop a multilevel Divide-and-Conquer SVM algorithm with adaptive clustering and early prediction strategy, which outperforms state-of-the-art methods in terms of training speed, testing accuracy, and memory usage. As an example, on the covtype dataset with half-a-million samples, DC-SVM is 7 times faster than LIBSVM in obtaining the exact SVM solution (to within $10^{-6}$ relative error) which achieves 96.15% prediction accuracy. Moreover, with our proposed early prediction strategy, DC-SVM achieves about 96% accuracy in only 12 minutes, which is more than 100 times faster than LIBSVM.

研究动机与目标

• 解决在包含数百万样本的大规模数据集上核 SVM 的可扩展性瓶颈。
• 降低传统 SVM 求解器中密集核矩阵计算带来的计算和内存开销。
• 开发一种兼顾效率与高预测精度的方法，避免近似求解器中常见的权衡。
• 通过利用子问题解的早期预测策略，实现快速且准确的推理。
• 从理论上证明，在适当的核聚类下，子问题的支持向量很可能是全局支持向量。

提出的方法

• 通过两步核 k-均值过程对数据集进行分区，以降低聚类成本。
• 每个子问题独立使用标准 SVM 优化求解，生成局部解。
• 将局部解组合形成全局坐标下降的初始点，由于其接近全局最优解，因此收敛迅速。
• 多级扩展动态细化分区，并集成自适应聚类与早期停止机制。
• 早期预测策略利用子问题解作为完整模型的快速且准确的代理，跳过完全收敛过程。
• 理论分析表明，核 k-均值最小化了子问题解与全局解之间的差异，从而为该方法提供了理论依据。

实验结果

研究问题

• RQ1 基于聚类的子问题分解能否产生接近全局 SVM 最优解的初始解？
• RQ2 将子问题解用作初始化是否能显著加速全局坐标下降的收敛？
• RQ3 基于子问题输出的早期预测能否比最先进求解器更快实现高测试精度？
• RQ4 DC-SVM 在不同核类型（包括 RBF 和多项式核）下，于不同超参数设置中的表现如何？
• RQ5 DC-SVM 的性能优势在不同数据集和核参数下是否具有鲁棒性？

主要发现

• 在 covtype 数据集（50 万样本）上，DC-SVM 实现精确 SVM 解的速度比 LIBSVM 快 7 倍，测试准确率达 96.15%。
• 使用早期预测时，DC-SVM 在 12 分钟内达到 96.03% 的准确率——比 LIBSVM 快超过 100 倍，而后者在 10 小时内仍未达到该精度。
• 在 100 组参数设置（C 和 γ）中，DC-SVM 有 96 组比 LIBSVM 更快，即使在 γ 较小、子问题解精度较低的情况下也成立。
• 对于多项式核，DC-SVM 比 LIBSVM 和 LaSVM 快超过 100 倍，原因在于其更优的支持向量识别能力。
• 聚类时间在不同层级间几乎保持不变（36–43 秒），而训练时间随深度增加，表明聚类阶段具有良好的可扩展性。
• 在 ijcnn1、webspam、covtype 和 census 数据集上，DC-SVM（早期）表现出稳健性能，运行时间和准确率均持续优于 LIBSVM。