[论文解读] Engineering fast multilevel support vector machines

Ehsan Sadrfaridpour, Talayeh Razzaghi+1 more|arXiv (Cornell University)|Jul 24, 2017

Face and Expression Recognition参考文献 67被引用 5

一句话总结

本文提出了一种多级支持向量机（SVM）框架，通过利用分层粗化和受代数多重网格启发的技术，在大规模且不平衡的数据集上加速非线性SVM的训练。该方法相较于LibSVM提速高达两个数量级，相较于DC-SVM提速一个数量级，同时保持或提升了分类准确率，尤其是在高度不平衡数据上表现优异，利用PETSc实现高效的线性代数运算和可扩展性。

ABSTRACT

The computational complexity of solving nonlinear support vector machine (SVM) is prohibitive on large-scale data. In particular, this issue becomes very sensitive when the data represents additional difficulties such as highly imbalanced class sizes. Typically, nonlinear kernels produce significantly higher classification quality to linear kernels but introduce extra kernel and model parameters which requires computationally expensive fitting. This increases the quality but also reduces the performance dramatically. We introduce a generalized fast multilevel framework for regular and weighted SVM and discuss several versions of its algorithmic components that lead to a good trade-off between quality and time. Our framework is implemented using PETSc which allows an easy integration with scientific computing tasks. The experimental results demonstrate significant speed up compared to the state-of-the-art nonlinear SVM libraries. Reproducibility: our source code, documentation and parameters are available at https:// github.com/esadr/mlsvm.

研究动机与目标

• 解决在大规模数据集上训练非线性SVM的高计算成本问题，特别是当数据不平衡或存在噪声时。
• 克服传统非线性SVM固有的性能-质量权衡问题，后者因昂贵的核函数和参数拟合而训练缓慢。
• 开发一种可扩展的、顺序执行的多级框架，在显著降低训练时间的同时保持高分类质量。
• 将框架集成到PETSc中，以支持在科学计算工作流中无缝使用，并为未来的并行化奠定基础。
• 在具有强多尺度或层次结构的现实世界工业数据集上，展示方法的鲁棒性与高效性。

提出的方法

• 应用代数多重网格（AMG）和多尺度优化原理，对数据进行分层粗化，构建多个逐渐缩小的训练集层级。
• 采用基于聚类和基于距离的聚合策略进行粗化，以在每一级保留类别结构并减少数据规模。
• 在粗粒度层级使用快速近似参数选择方法（如NUD算法）训练SVM模型，以指导细粒度层级的优化。
• 采用递归解粗化过程，将模型从粗粒度层级传播至细粒度层级，结合自适应过滤和核函数参数调优。
• 将框架集成到PETSc中，以利用其可扩展的稀疏线性代数能力以及对科学计算工作负载的支持。
• 采用动态分区策略，根据数据规模在不同层级间分配训练任务，设置阈值（如Q_t = 5000）以触发粗化操作。

实验结果

研究问题

• RQ1 多级框架是否能显著缩短大规模数据集上非线性SVM的训练时间，同时不牺牲分类准确率？
• RQ2 分层粗化对模型泛化能力有何影响，尤其是在类别不平衡的情况下？
• RQ3 不同的粗化策略（如IIS与AMG）以及过滤参数（θ, r）对模型质量与速度有何影响？
• RQ4 在粗粒度层级进行的模型选择是否能有效指导细粒度层级的参数调优，从而减少对全面搜索的需求？
• RQ5 与最先进SVM库（如LibSVM和DC-SVM）相比，多级方法在速度与准确率方面有多大优势？

主要发现

• 所提出的多级SVM框架在样本数超过100,000的数据集上，相较于LibSVM提速最高达100倍，相较于DC-SVM提速10倍。
• 在MNIST8M数据集（100万样本）上，该框架相较LibSVM将训练时间缩短了两个多数量级，同时保持了高准确率。
• 对于高度不平衡的数据集（如HIGGS和SUSY），多级方法在G-mean和AUC评分上优于或至少相当于基线方法。
• 该框架在多种不同数据集上表现出稳定性能，准确率标准差极低（如MNIST8M各类别间标准差<0.03），表明其鲁棒性良好。
• 采用粗粒度层级模型选择（如NUD算法）结合自适应过滤（θ=0.05）与粗化阈值（Q_t=5000）带来了持续的性能提升。
• 在PETSc中的实现支持高效的线性代数运算，并为未来并行化及集成到HPC工作流提供了坚实基础。