[论文解读] Algebraic multigrid support vector machines

Ehsan Sadrfaridpour, Sandeep Jeereddy+4 more|arXiv (Cornell University)|Nov 16, 2016

Tensor decomposition and applications参考文献 18被引用 6

一句话总结

本文提出了一种受代数多重网格（AMG）启发的多级框架，用于在大规模且类别不平衡的数据集上加速加权支持向量机（WSVM）的训练。通过数据层次的降维，从粗粒度层级继承支持向量和模型参数，并进行局部优化，该方法实现了显著的加速效果——将原本需要数天的训练时间缩短至数小时，且未牺牲分类质量，尤其在工业级和类别不平衡的数据集上表现尤为出色。

ABSTRACT

The support vector machine is a flexible optimization-based technique widely used for classification problems. In practice, its training part becomes computationally expensive on large-scale data sets because of such reasons as the complexity and number of iterations in parameter fitting methods, underlying optimization solvers, and nonlinearity of kernels. We introduce a fast multilevel framework for solving support vector machine models that is inspired by the algebraic multigrid. Significant improvement in the running has been achieved without any loss in the quality. The proposed technique is highly beneficial on imbalanced sets. We demonstrate computational results on publicly available and industrial data sets.

研究动机与目标

• 为解决在大规模且类别不平衡数据集上训练SVM时计算成本过高的问题，其中标准求解器（如LibSVM）变得不可行。
• 在不降低分类质量的前提下，提升加权SVM（WSVM）的训练效率，尤其针对类别不平衡数据。
• 开发一种受代数多重网格（AMG）启发的可扩展多级优化框架，支持降维、参数继承和局部优化。
• 使基于核函数的SVM在大数据场景下的实际部署成为可能，否则全规模训练将不可行。
• 探究插值阶数和AMG降维质量对分类器性能及训练时间的影响。

提出的方法

• 该方法利用AMG降维技术，构建原始SVM问题的逐级更粗近似层次，逐层减少自由度。
• 在每一级粗粒度层级上，通过局部优化求解SVM，并将所得的支持向量和模型参数继承至更细粒度层级进行优化。
• 在反向粗化（uncoarsening）过程中，算法通过在继承的支持向量及其邻域上重新训练来优化解，逐步提升精度。
• 该框架在不同粗化层级上集成外部求解器（如LibSVM）作为优化工具，实现灵活性与可扩展性。
• 通过k-NN图的谱近似指导降维过程，提升几何保真度和分类器质量，优于简单的聚合方法。
• 对AMG延拓算子中的插值阶数进行调优，以在精度与性能之间取得平衡，较高阶次可提升质量，但增加运行时间。

实验结果

研究问题

• RQ1 受AMG启发的多级框架能否在不损害分类质量的前提下，显著缩短大规模WSVM的训练时间？
• RQ2 从粗粒度层级继承支持向量和模型参数，对类别不平衡数据上最终分类器的准确率和鲁棒性有何影响？
• RQ3 通过更高阶AMG插值提升数据几何近似质量，是否能增强真实世界数据集上WSVM的性能？
• RQ4 该多级框架在全规模SVM训练不可行的工业级数据集上，其可扩展性达到何种程度？
• RQ5 与标准求解器（如LibSVM、LibLINEAR）及集成方法相比，该方法在类别不平衡和大规模数据集上的性能与质量表现如何？

主要发现

• 在包含超过20万个特征和10万个样本的工业级BMW数据集上，所提出的多级WSVM（MLWSVM）框架实现了显著的加速，将训练时间从数天缩短至数小时。
• 在BMW数据集上，常规WSVM在无高性能并行化或线性化处理的情况下无法完成训练，而MLWSVM仍保持实用且高效。
• 在Forest和Hypothyroid等公开数据集上，提高AMG插值阶次显著提升了分类器的 Cohen's kappa (κ) 值，证明了更优几何近似带来的质量提升。
• 尽管运行时间增加，更高的插值阶次仍带来了可测量的分类质量改进，证实了精细化降维的价值。
• 该方法在所有测试数据集（包括类别不平衡数据集）上均保持或提升了分类质量，且在准确率上优于LibLINEAR和集成SVM方法。
• 该框架在全维数据和SVD降维后的数据上均未出现质量损失，尽管全维数据导致运行时间增加。