[论文解读] Fast Incremental SVDD Learning Algorithm with the Gaussian Kernel

Hansi Jiang, Haoyu Wang+3 more|arXiv (Cornell University)|Sep 1, 2017

Anomaly Detection Techniques and Applications参考文献 8被引用 15

一句话总结

该论文提出FISVDD，一种基于高斯核的快速增量学习支持向量数据描述（SVDD）算法。通过利用矩阵运算以及所有边界支持向量在特征空间中与中心等距的不变性质，FISVDD每轮迭代仅更新支持向量和新数据点，实现每步O(k²)的时间复杂度。该方法在保持高异常检测准确率的同时，实现接近全局最优的性能，相比增量SVM提速高达100倍。

ABSTRACT

Support vector data description (SVDD) is a machine learning technique that is used for single-class classification and outlier detection. The idea of SVDD is to find a set of support vectors that defines a boundary around data. When dealing with online or large data, existing batch SVDD methods have to be rerun in each iteration. We propose an incremental learning algorithm for SVDD that uses the Gaussian kernel. This algorithm builds on the observation that all support vectors on the boundary have the same distance to the center of sphere in a higher-dimensional feature space as mapped by the Gaussian kernel function. Each iteration involves only the existing support vectors and the new data point. Moreover, the algorithm is based solely on matrix manipulations; the support vectors and their corresponding Lagrange multiplier $α_i$'s are automatically selected and determined in each iteration. It can be seen that the complexity of our algorithm in each iteration is only $O(k^2)$, where $k$ is the number of support vectors. Experimental results on some real data sets indicate that FISVDD demonstrates significant gains in efficiency with almost no loss in either outlier detection accuracy or objective function value.

研究动机与目标

• 为解决批量和增量SVDD方法在处理大规模或流式数据时效率低下的问题。
• 开发一种在线学习算法，在显著降低计算成本的同时保持高准确率。
• 利用核空间中支持向量的几何不变性，简化并加速增量更新过程。
• 实现在物联网和工业监控等应用中低延迟的实时异常检测。
• 通过避免完整重训并每次迭代后丢弃内部点，降低内存和计算开销。

提出的方法

• FISVDD使用矩阵求逆更新，高效计算核矩阵及其逆矩阵的增量变化。
• 基于逆核矩阵A⁻¹中行和的符号识别支持向量和内部点。
• 拉格朗日乘子αᵢ由A⁻¹行和中条目的大小确定。
• 算法仅维护支持向量，并在每次迭代后丢弃内部点，以减少存储和计算开销。
• 其核心洞察在于：在高斯核所诱导的高维特征空间中，所有支持向量与中心的距离相等。
• 该方法本质上是增量式的：每次更新仅依赖于当前的支持向量和新数据点，而非整个数据集。

实验结果

研究问题

• RQ1 能否设计一种增量SVDD算法，在显著降低计算成本的同时实现接近全局最优的性能？
• RQ2 如何利用核空间中支持向量的几何不变性来简化并加速学习过程？
• RQ3 在不降低模型准确率的前提下，每次迭代后可丢弃多少内部点？
• RQ4 与现有基于增量SVM的SVDD方法相比，所提方法在效率和准确率方面表现如何？
• RQ5 矩阵求逆更新是否能在保持模型稳定性和收敛性的前提下，实现每步O(k²)的时间复杂度？

主要发现

• FISVDD相比增量SVM提速高达100倍，Shuttle数据集上训练时间仅为251.01秒，而增量SVM为22,923.57秒。
• FISVDD的目标函数值与增量SVM基线相差不足0.05%，表明其接近全局最优。
• 在CoverType数据集上，FISVDD仅用19.47秒完成训练，而增量SVM耗时12,954.81秒，目标函数值差异仅为0.0027%。
• 在所有数据集中，FISVDD与增量SVM的异常检测F-1值几乎完全一致，即使在丢弃内部点后也保持稳定。
• FISVDD与增量SVM相比，支持向量数量保持一致，表明模型紧凑性未受影响。
• FISVDD在多种数据类型上表现出强鲁棒性，涵盖高维（如CoverType，10个变量）和低维（如SMTP，3个变量）数据集。