[论文解读] Minimal Support Vector Machine

Shuai Zheng, Chris Ding|arXiv (Cornell University)|Apr 6, 2018

Face and Expression Recognition参考文献 10被引用 5

一句话总结

本文提出最小支持向量机（Minimal SVM），通过在松弛变量上使用L0.5范数来最小化支持向量的数量，从而提升分类准确率。通过重述目标函数并应用带动量的梯度下降法，该方法在7个二分类任务中相比标准SVM实现了更少的支持向量和更好的泛化能力。

ABSTRACT

Support Vector Machine (SVM) is an efficient classification approach, which finds a hyperplane to separate data from different classes. This hyperplane is determined by support vectors. In existing SVM formulations, the objective function uses L2 norm or L1 norm on slack variables. The number of support vectors is a measure of generalization errors. In this work, we propose a Minimal SVM, which uses L0.5 norm on slack variables. The result model further reduces the number of support vectors and increases the classification performance.

研究动机与目标

• 减少SVM中的支持向量数量，因其与更好的泛化能力和预测能力相关。
• 解决标准SVM中支持向量数量对惩罚参数C不敏感的问题。
• 通过一种新颖的正则化方法最小化支持向量数量，从而提升分类准确率。
• 开发一种高效优化算法，用于求解基于非凸L0.5范数的目标函数。

提出的方法

• 提出一种在松弛变量上使用L0.5范数的新目标函数：min (1/2)||w||² + C Σ ξi^0.5，约束条件为 yi(wᵀxi + b) ≥ 1 - ξi 且 ξi ≥ 0。
• 引入平滑辅助函数以处理L0.5范数的非凸性，从而支持基于梯度的优化。
• 应用带动量的梯度下降法求解平滑后的优化问题，提升收敛性和稳定性。
• 通过变量变换（w′ 和 x′）简化优化过程并保持数值稳定性。
• 利用拉格朗日对偶和KKT条件推导对偶形式及w和b的更新规则。
• 实现一种带动量的迭代算法（公式27–28），以高效求解原始问题。

实验结果

研究问题

• RQ1 在SVM中，与标准的L1或L2范数相比，使用L0.5范数于松弛变量是否能显著减少支持向量的数量？
• RQ2 通过L0.5正则化减少支持向量数量是否能带来分类准确率的提升？
• RQ3 与标准SVM相比，所提出的Minimal SVM中支持向量数量对惩罚参数C的敏感性如何？
• RQ4 能否为基于非凸L0.5范数的目标函数开发一种高效的优化算法？

主要发现

• 在7个二分类任务中，Minimal SVM平均将支持向量数量减少了40%。
• 在MSRC数据集上，Minimal SVM将支持向量从38.20减少到22.40，同时将测试准确率从0.67提升至0.72。
• 在ATT数据集上，支持向量从11.00减少到2.00，测试准确率从0.85提升至0.90。
• 在所有情况下，标准SVM与Minimal SVM的权重向量之间的夹角均小于7度，表明其决策边界相似但不完全相同。
• 权重向量之间的归一化欧氏距离低于0.15，表明尽管支持向量数量不同，模型在参数空间中仍较为接近。
• 算法1在所有四个数据集上均于50次迭代内收敛，证明了所提优化方法具有快速收敛性。