[论文解读] General Scaled Support Vector Machines

Xin Liu, Ying Ding+1 more|arXiv (Cornell University)|Sep 27, 2010

Face and Expression Recognition参考文献 13被引用 4

一句话总结

本文提出了一种新型方法——广义缩放支持向量机（GS-SVM），通过沿法向方向平移超平面，将全局数据分布信息融入C-SVM，从而提升其性能。通过将数据投影到超平面的法线上，并将决策边界向投影尺度较小的类别方向移动，GS-SVM增强了泛化能力，在合成数据集和真实世界数据集上均取得了高于C-SVM的准确率，包括在'谱'数据集上实现了1.5%的准确率提升，且在较低C值下表现更优。

ABSTRACT

Support Vector Machines (SVMs) are popular tools for data mining tasks such as classification, regression, and density estimation. However, original SVM (C-SVM) only considers local information of data points on or over the margin. Therefore, C-SVM loses robustness. To solve this problem, one approach is to translate (i.e., to move without rotation or change of shape) the hyperplane according to the distribution of the entire data. But existing work can only be applied for 1-D case. In this paper, we propose a simple and efficient method called General Scaled SVM (GS-SVM) to extend the existing approach to multi-dimensional case. Our method translates the hyperplane according to the distribution of data projected on the normal vector of the hyperplane. Compared with C-SVM, GS-SVM has better performance on several data sets.

研究动机与目标

• 为解决C-SVM的鲁棒性局限性，其仅依赖支持向量而忽略全局数据分布。
• 通过推广超平面平移原理，将冯氏的1-D缩放SVM方法扩展至多维数据。
• 通过在决策边界中同时结合局部（支持向量）和全局（投影数据尺度）信息，提升泛化性能。
• 证明基于类别方差投影的超平面平移可实现更高分类准确率，且在较低C值下表现更优。

提出的方法

• 首先，训练标准C-SVM以获得由权重向量w和偏置b定义的初始超平面。
• 将所有数据点投影到超平面的法向量上，以估计每个类别在该方向上的分布尺度（范围）。
• 应用冯氏1-D缩放SVM原理，基于两类投影尺度的比值计算平移偏移量Δ。
• 沿法线方向将超平面平移Δ，将偏置项b调整为b + Δ，同时保持超平面的朝向不变。
• 利用核技巧将该方法扩展至非线性特征空间，在变换空间中保持相同的平移逻辑。
• 通过10折交叉验证调优惩罚参数C，并在线性核与高斯核下对比GS-SVM与C-SVM的性能表现。

实验结果

研究问题

• RQ1 基于全局数据分布的超平面平移是否能提升C-SVM在多维空间中的泛化性能？
• RQ2 将超平面朝投影尺度较小的类别方向平移，对分类准确率与间隔优化有何影响？
• RQ3 GS-SVM是否在较低C值下优于C-SVM，表明其具备更优的结构风险最小化能力？
• RQ4 GS-SVM在不同核类型的真实世界数据集上，相较于C-SVM的性能提升程度如何？

主要发现

• 在2D人工数据集上，GS-SVM实现了97.5%的分类准确率，优于C-SVM的96.67%，成功正确分类了两个额外样本点。
• 在UCI的'sonar'数据集上，使用线性核时，GS-SVM将准确率从C-SVM的73.72%提升至75.10%；使用高斯核时，从88.47%提升至89.87%。
• 在'hepatitis'数据集上，GS-SVM在高斯核下达到84.54%的准确率，高于C-SVM的83.28%，展现出一致的性能提升。
• 在8个基准数据集中的7个上，GS-SVM的准确率始终高于C-SVM，仅在1个数据集上未出现性能下降。
• 该方法实现了在更低C值下的更高准确率，表明平移偏移量Δ减少了对高惩罚正则化的依赖。