[论文解读] Fast SVM training using approximate extreme points

Manu Nandan, Pramod P. Khargonekar+1 more|arXiv (Cornell University)|Apr 4, 2013

Machine Learning and ELM参考文献 30被引用 38

一句话总结

本文提出AESVM，一种用于非线性核SVM的快速训练方法，通过在核空间中选择极值点的代表性子集来减少训练时间。通过仅在该紧凑集合上进行优化，AESVM在保持接近SVM精度的同时，实现高达1,000倍的训练速度提升，并具备具有竞争力的分类速度，该方法在包括癫痫检测和MNIST在内的九个数据集上得到验证。

ABSTRACT

Applications of non-linear kernel Support Vector Machines (SVMs) to large datasets is seriously hampered by its excessive training time. We propose a modification, called the approximate extreme points support vector machine (AESVM), that is aimed at overcoming this burden. Our approach relies on conducting the SVM optimization over a carefully selected subset, called the representative set, of the training dataset. We present analytical results that indicate the similarity of AESVM and SVM solutions. A linear time algorithm based on convex hulls and extreme points is used to compute the representative set in kernel space. Extensive computational experiments on nine datasets compared AESVM to LIBSVM \citep{LIBSVM}, CVM \citep{Tsang05}, BVM \citep{Tsang07}, LASVM \citep{Bordes05}, $ ext{SVM}^{ ext{perf}}$ \citep{Joachims09}, and the random features method \citep{rahimi07}. Our AESVM implementation was found to train much faster than the other methods, while its classification accuracy was similar to that of LIBSVM in all cases. In particular, for a seizure detection dataset, AESVM training was almost $10^3$ times faster than LIBSVM and LASVM and more than forty times faster than CVM and BVM. Additionally, AESVM also gave competitively fast classification times.

研究动机与目标

• 解决大规模数据集上非线性核SVM训练时间过长的问题，该问题限制了其实际应用。
• 在不牺牲分类精度的前提下，减少支持向量和训练数据点的数量。
• 开发一种快速、可扩展的SVM训练方法，在显著降低计算成本的同时保持解的质量。
• 通过最小化重复的完整训练运行，实现高效的超参数调优（如网格搜索）。
• 提供一种理论基础坚实且经实验验证的现有快速SVM方法的替代方案。

提出的方法

• 利用凸包和核空间中的极值点识别，从训练数据中构建一个代表性集合（RS）。
• 应用线性时间算法（DeriveRS）以O(N)复杂度计算代表性集合，或对大规模数据集使用O(N log₂(N/P))变体。
• 制定一种改进的SVM优化（AESVM），仅在代表性集合上最小化目标函数，从而减少变量数量。
• 使用基于代表性集合中数据点分布推导出的系数βt的加权合页损失项。
• 理论分析表明，AESVM的目标函数被全SVM目标函数的上界近似所包围，确保了解的相似性。
• 利用核空间中极值点捕捉了关键的边界结构这一事实，使得一个小的子集即可近似全解。

实验结果

研究问题

• RQ1 是否可以使用核空间中极小的、具有代表性的极值点子集来训练出与完整数据集精度几乎相同的SVM？
• RQ2 在大规模数据集上，AESVM的训练时间与LIBSVM、CVM、BVM、LASVM和SVMperf等最先进的快速SVM方法相比如何？
• RQ3 数据集的维度和分布对代表性集合大小及最终加速效果有何影响？
• RQ4 尽管使用更少的支持向量，AESVM是否仍能保持具有竞争力的分类推理速度？
• RQ5 AESVM与全SVM之间目标函数差异的理论边界是否能在多样化数据集上得到经验验证？

主要发现

• 在癫痫检测数据集上，AESVM的训练速度比LIBSVM和LASVM快达1,000倍，且分类精度相近。
• 在MNIST数据集上，AESVM比CVM和BVM快逾40倍，但由于高维性，代表性集合大小接近训练数据的100%。
• 在所有测试的九个数据集上，AESVM始终实现了最低的近似误差（RMSE）和最高的训练时间加速比（OTS）。
• 分类时间具有竞争力，整体分类时间加速比（OCS）最高，仅次于SVMperf。
• 所有方法中最大分类精度几乎相同，仅RfeatSVM以及偶尔的CVM和BVM表现出较低性能。
• 对于低维数据集（D1–D5），DeriveRS算法效率高；但在高维场景（D6–D9）中，由于代表性集合过大，性能增益减弱。