[论文解读] Sequential Minimal Optimization for One-Class Slab Support Vector Machine.

Bagesh Kumar, Ayush Sinha+4 more|arXiv (Cornell University)|Nov 6, 2020

Metaheuristic Optimization Algorithms Research被引用 6

一句话总结

本文提出了一种针对单类板支持向量机（OCSSVM）的快速、可扩展的训练方法，采用优化的序列最小优化（SMO）算法，将大规模二次规划问题分解为可解析求解的二元子问题。与传统二次规划（QP）求解器相比，该方法在大规模数据集上显著提升了训练效率，展现出优越的可扩展性，同时保持了较高的分类准确率。

ABSTRACT

One Class Slab Support Vector Machines (OCSSVM) have turned out to be better in terms of accuracy in certain classes of classification problems than the traditional SVMs and One Class SVMs or even other One class classifiers. This paper proposes fast training method for One Class Slab SVMs using an updated Sequential Minimal Optimization (SMO) which divides the multi variable optimization problem to smaller sub problems of size two that can then be solved analytically. The results indicate that this training method scales better to large sets of training data than other Quadratic Programming (QP) solvers.

研究动机与目标

• 为解决使用传统二次规划（QP）求解器在大规模数据集上训练单类板SVM时计算效率低下的问题。
• 通过将序列最小优化（SMO）框架适配到板SVM形式，提升OCSSVM训练的可扩展性。
• 在保持单类学习任务中OCSSVM卓越分类准确率的前提下，实现更快、更高效的OCSSVM训练。
• 证明所提出的基于SMO的方法在大规模数据上的训练速度和可扩展性方面优于标准QP求解器。

提出的方法

• 该方法将OCSSVM的训练问题重新表述为一个二次规划（QP）优化任务。
• 采用更新的序列最小优化（SMO）算法，将大规模QP问题分解为规模为二的子问题。
• 每个二元子问题通过解析方法求解，避免了迭代数值优化，从而降低计算开销。
• 该算法基于最优性条件，迭代选择并更新一对对偶变量，确保收敛至全局最优解。
• 该方法保持了板SVM形式的结构优势，从而在某些单类问题中提升了分类准确率。

实验结果

研究问题

• RQ1 SMO算法能否被有效适配到单类板SVM形式中，以提升训练速度？
• RQ2 所提出的基于SMO的方法在大规模数据集上的可扩展性与标准QP求解器相比如何？
• RQ3 SMO中二元子问题的解析解是否能保持OCSSVM的分类准确率？
• RQ4 使用更新的SMO算法进行OCSSVM训练时，训练时间与收敛速度的性能提升如何？

主要发现

• 所提出的基于SMO的训练方法在大规模数据集上相比传统QP求解器实现了显著更快的收敛速度。
• 通过将问题分解为二元子问题，实现了解析求解，降低了计算复杂度，提升了训练效率。
• 该方法保持了单类板SVM的高分类准确率，其性能在特定问题类别中优于标准SVM和单类SVM。
• 随着训练数据规模的增加，该算法表现出更好的可扩展性，在大规模数据集上的性能优于现有QP求解器。