[论文解读] Compressed Support Vector Machines

Zhixiang Xu, Jacob R. Gardner+2 more|arXiv (Cornell University)|Jan 26, 2015

Face and Expression Recognition参考文献 13被引用 7

一句话总结

本文提出压缩向量机（CVM），一种后处理方法，通过在连续空间中学习一组优化的、人工生成的支持向量来近似原始决策边界，从而降低SVM的测试时间成本。该方法在保持接近完整模型准确率的同时，实现了数个数量级的推理速度提升，优于先前的Reduced-SVM和LARS-SVM方法，在准确率与复杂度的权衡上表现更优。

ABSTRACT

Support vector machines (SVM) can classify data sets along highly non-linear decision boundaries because of the kernel-trick. This expressiveness comes at a price: During test-time, the SVM classifier needs to compute the kernel inner-product between a test sample and all support vectors. With large training data sets, the time required for this computation can be substantial. In this paper, we introduce a post-processing algorithm, which compresses the learned SVM model by reducing and optimizing support vectors. We evaluate our algorithm on several medium-scaled real-world data sets, demonstrating that it maintains high test accuracy while reducing the test-time evaluation cost by several orders of magnitude---in some cases from hours to seconds. It is fair to say that most of the work in this paper was previously been invented by Burges and Schölkopf almost 20 years ago. For most of the time during which we conducted this research, we were unaware of this prior work. However, in the past two decades, computing power has increased drastically, and we can therefore provide empirical insights that were not possible in their original paper.

研究动机与目标

• 降低核SVM的测试时间计算成本，其成本与支持向量数量成线性关系。
• 在大幅减少推理过程中使用的支持向量数量的同时，保持高分类准确率。
• 开发一种后处理压缩技术，学习连续空间中的人工支持向量，而非从训练数据中选择。
• 在真实世界数据集上，相比Reduced-SVM和LARS-SVM等现有方法，在准确率与效率的权衡上表现更优。
• 利用现代计算资源，对先前理论性方法（Burges和Schölkopf, 1999）进行实证验证。

提出的方法

• 该方法从一个训练好的完整SVM模型出发，使用LARS-SVM从原始支持向量集中选择初始子集。
• 然后对支持向量的位置及其对应的对偶变量（拉格朗日乘子）进行梯度下降，以在连续空间中优化决策边界的基表示。
• 优化目标（公式10）最小化压缩模型的决策函数与原始SVM决策函数之间的差异。
• 所得压缩模型是一个支持向量更少的标准化SVM，其支持向量可保存为LibSVM兼容格式。
• 该方法分两个阶段进行：首先通过LARS选择初始子集，然后对支持向量位置进行连续优化。
• 通过一对多、一对一或DAG方案，将该方法扩展至多分类问题。

实验结果

研究问题

• RQ1 一组少量学习得到的、位于连续空间中的支持向量能否在最小化准确率损失的前提下，近似全量SVM的决策边界？
• RQ2 在准确率和推理成本方面，CVM与Reduced-SVM和LARS-SVM等现有压缩方法相比表现如何？
• RQ3 在保持高分类准确率的前提下，测试时间评估成本最多可降低多少？
• RQ4 通过连续空间中对支持向量的优化进行后处理压缩，是否能获得比从训练数据中离散选择更好的近似效果？
• RQ5 能否利用现代计算能力，对压缩向量机（Burges & Schölkopf, 1999）的理论框架进行实证验证并加以改进？

主要发现

• 在所有评估的数据集中，CVM即使仅使用原始支持向量数量的10%，其分类准确率仍与完整SVM模型相差不到1%。
• 在MNIST数据集上，CVM仅用10个支持向量即可保持超过95%的准确率，将测试时间成本降低数个数量级。
• 在相同数量的支持向量下，CVM在准确率上优于Reduced-SVM和LARS-SVM，尤其在低压缩比时表现更优。
• 与从训练数据中离散选择相比，基于梯度的连续空间中支持向量位置优化显著提升了近似质量。
• 在大规模数据集（如20news和MNIST）上，CVM将推理时间从数小时缩短至数秒，同时保持高准确率。
• 该方法在图像、文本和表格等多种数据类型上均表现出鲁棒性，且性能提升一致。