[论文解读] GBSVM: Granular-ball Support Vector Machine

Shuyin Xia, Lian, Xiaoyu+4 more|arXiv (Cornell University)|Oct 6, 2022

Vehicle License Plate Recognition被引用 5

一句话总结

本文提出GBSVM，这是首个采用粒度球（granular-balls）——代表数据聚类的粗粒度、对称超球区域——而非单个数据点作为输入的非点输入分类器。该工作修正了原始模型中的错误，推导出其对偶形式，并通过SMO和PSO算法实现高效求解，在UCI数据集上表现出优于传统SVM的显著速度与鲁棒性，GBSVM最快可比SVM快100倍，且在噪声环境下仍保持高准确率。

ABSTRACT

GBSVM (Granular-ball Support Vector Machine) is a significant attempt to construct a classifier using the coarse-to-fine granularity of a granular-ball as input, rather than a single data point. It is the first classifier whose input contains no points. However, the existing model has some errors, and its dual model has not been derived. As a result, the current algorithm cannot be implemented or applied. To address these problems, this paper has fixed the errors of the original model of the existing GBSVM, and derived its dual model. Furthermore, a particle swarm optimization algorithm is designed to solve the dual model. The sequential minimal optimization algorithm is also carefully designed to solve the dual model. The solution is faster and more stable than the particle swarm optimization based version. The experimental results on the UCI benchmark datasets demonstrate that GBSVM has good robustness and efficiency. All codes have been released in the open source library at http://www.cquptshuyinxia.com/GBSVM.html or https://github.com/syxiaa/GBSVM.

研究动机与目标

• 为解决机器学习中缺乏非点输入分类器的问题，提出以粒度球作为输入单元。
• 修正原始GBSVM模型中阻碍其实现与应用的错误。
• 推导GBSVM的对偶模型，以实现高效优化与实际部署。
• 开发并比较求解算法——PSO与SMO——以解决对偶模型，目标为实现更快且更稳定的收敛。
• 在UCI基准数据集上评估GBSVM对噪声和标准SVM的鲁棒性与效率。

提出的方法

• 用粒度球——由中心与半径定义的超球体——替代单个数据点，以表示不同粒度层级下的样本聚类。
• 通过递归分割初始数据球构建粒度球，使用纯度阈值控制粒度层级。
• 利用Lagrangian对偶理论推导GBSVM的对偶优化问题，从而可通过序列优化实现高效求解。
• 设计一种专用于GBSVM对偶模型的序列最小优化（SMO）算法，实现比PSO更快且更稳定的收敛。
• 实现基于PSO的求解器作为对比基线，但结果表明SMO在速度与稳定性方面更优。
• 通过核函数将粒度球映射到核空间，将模型扩展至非线性分类。

实验结果

研究问题

• RQ1 能否以粒度球替代单个数据点构建分类器，且其性能是否得以保持或提升？
• RQ2 原始GBSVM模型中存在哪些结构与算法错误，导致其无法实现？
• RQ3 能否为GBSVM推导出对偶形式，且能否通过标准优化技术高效求解？
• RQ4 基于SMO的GBSVM在速度与准确率方面，相较于基于PSO的GBSVM与传统SVM表现如何？
• RQ5 与标准SVM相比，GBSVM在标签噪声与数据复杂性方面表现出多大程度的鲁棒性？

主要发现

• GBSVM在多个UCI数据集上相比传统SVM最快可实现100倍的速度提升，例如在heart1数据集上最快运行时间仅为0.0020秒。
• 基于SMO的GBSVM求解器显著快于且更稳定于基于PSO的版本，后者在部分数据集上耗时超过100,000秒。
• 在fourclass数据集上，降低纯度阈值可提升高噪声环境下的分类准确率，且最优阈值随噪声增加而减小。
• GBSVM在标签噪声环境下仍保持高准确率，优于标准SVM，并通过去噪实验验证了其鲁棒性。
• 与原始数据点相比，粒度球数量大幅减少——例如从数千个降至数十个——从而实现极高的计算效率。
• 通过核空间映射，非线性GBSVM模型成功扩展，使该方法可应用于复杂、非线性可分的数据。