[论文解读] Fast Prediction with SVM Models Containing RBF Kernels

Marc Claesen, Frank De Smet+2 more|arXiv (Cornell University)|Mar 4, 2014

Model Reduction and Neural Networks参考文献 39被引用 21

一句话总结

该论文提出了一种RBF核函数在SVM模型中评估的二阶泰勒级数近似方法，使预测复杂度随输入维度呈二次方增长，而非随支持向量数量增长。当输入维度相对于支持向量数量较小时，该方法实现了显著的速度提升和模型压缩——最高达290倍，同时保持有界误差，并支持数据混淆。

ABSTRACT

We present an approximation scheme for support vector machine models that use an RBF kernel. A second-order Maclaurin series approximation is used for exponentials of inner products between support vectors and test instances. The approximation is applicable to all kernel methods featuring sums of kernel evaluations and makes no assumptions regarding data normalization. The prediction speed of approximated models no longer relates to the amount of support vectors but is quadratic in terms of the number of input dimensions. If the number of input dimensions is small compared to the amount of support vectors, the approximated model is significantly faster in prediction and has a smaller memory footprint. An optimized C++ implementation was made to assess the gain in prediction speed in a set of practical tests. We additionally provide a method to verify the approximation accuracy, prior to training models or during run-time, to ensure the loss in accuracy remains acceptable and within known bounds.

研究动机与目标

• 降低RBF核SVM的预测时间，其复杂度随支持向量数量线性增长，在实时或高吞吐量应用中可能变得不可行。
• 开发一种近似方法，使预测速度与支持向量数量解耦，从而在输入维度较低时实现更快的模型推理。
• 提供一种保守且可验证的误差界，确保在模型部署前或部署过程中，近似精度始终处于可接受范围内。
• 实现更小、具备数据混淆能力的模型，适用于生物医学研究等隐私敏感领域。

提出的方法

• 对RBF核函数 $ \kappa(\mathbf{x}_i, \mathbf{x}_j) = e^{-\gamma \|\mathbf{x}_i - \mathbf{x}_j\|^2} $ 使用指数函数的二阶泰勒级数展开进行近似。
• 用输入特征的二次型替代精确的核函数计算，得到依赖于稠密向量 $ \mathbf{v} $ 和对称矩阵 $ \mathbf{M} $ 的决策函数。
• 基于条件 $ |x| < 0.5 $（其中 $ x $ 为指数部分）推导近似相对误差的上界，确保相对误差 $ \leq 3.05\% $。
• 将近似后的模型存储为三个标量（$ b, c, \gamma $）、一个向量 $ \mathbf{v} \in \mathbb{R}^d $ 和一个矩阵 $ \mathbf{M} \in \mathbb{R}^{d \times d} $，从而显著降低内存占用。
• 将该近似方法推广至所有依赖再生核定理的核方法，包括SVM、高斯过程、核主成分分析和核线性判别分析。
• 实现一个优化的C++版本，通过多个数据集的实验验证其在速度、精度和压缩率方面的性能提升。

实验结果

研究问题

• RQ1 RBF核函数的二阶泰勒近似是否能显著降低预测时间，同时不牺牲模型精度？
• RQ2 该近似在不同数据集上是否保持有界误差？该误差界是否可预先验证或在运行时验证？
• RQ3 当输入维度相对于支持向量数量较小时，近似后的RBF-SVM模型大小与精确模型相比如何？
• RQ4 该近似在多大程度上模糊了原始训练数据，使其适用于隐私敏感的应用场景？

主要发现

• 在sensit数据集上，近似模型实现了高达290倍的压缩率，模型大小从32 MB减少至113 KB。
• 预测速度随输入维度 $ d $ 呈二次方增长，而非随支持向量数量 $ n_{\text{SV}} $ 增长，当 $ d \ll n_{\text{SV}} $ 时可实现显著加速。
• 当RBF核函数的指数部分满足 $ |x| < 0.5 $ 时，该近似保持相对误差小于3.05%，并提供可验证的误差界。
• 在除一个测试数据集外的所有数据集中，近似模型均显著小于精确模型，尤其在高 $ n_{\text{SV}} $、低 $ d $ 的数据集中压缩效果最为显著。
• 该近似通过将支持向量替换为复杂组合，有效混淆了原始训练数据，使反向工程原始样本变得极为困难。
• 与基于神经网络的近似方法相比，该方法在速度和误差控制方面表现更优，尤其在 $ d $ 较小时，得益于其线性近似成本和已知的误差界。