[论文解读] Deep Learning using Linear Support Vector Machines

Yichuan Tang|arXiv (Cornell University)|Jun 2, 2013

Anomaly Detection Techniques and Applications参考文献 19被引用 741

一句话总结

本文提出用线性支持向量机（SVM）替换深度神经网络中的softmax层，以提升分类性能。通过使用可微的L2-SVM损失代替交叉熵损失，模型通过更优的正则化实现更好的泛化能力，最终在MNIST上达到0.87%的误差率，在CIFAR-10上达到11.9%的误差率，优于标准的softmax基线网络。

ABSTRACT

Recently, fully-connected and convolutional neural networks have been trained to achieve state-of-the-art performance on a wide variety of tasks such as speech recognition, image classification, natural language processing, and bioinformatics. For classification tasks, most of these "deep learning" models employ the softmax activation function for prediction and minimize cross-entropy loss. In this paper, we demonstrate a small but consistent advantage of replacing the softmax layer with a linear support vector machine. Learning minimizes a margin-based loss instead of the cross-entropy loss. While there have been various combinations of neural nets and SVMs in prior art, our results using L2-SVMs show that by simply replacing softmax with linear SVMs gives significant gains on popular deep learning datasets MNIST, CIFAR-10, and the ICML 2013 Representation Learning Workshop's face expression recognition challenge.

研究动机与目标

• 探究用线性SVM替换softmax层是否能提升深度学习模型的分类性能。
• 评估使用基于间隔的L2-SVM损失替代交叉熵损失对泛化能力和鲁棒性的影响。
• 确定性能提升源于目标函数本身，还是优化能力的改进。
• 证明在端到端训练中使用L2-SVM可实现深度架构的最先进性能，无需特征微调或多阶段流程。

提出的方法

• 用最小化可微、基于间隔的合页损失的线性L2-SVM层替换深度神经网络的最终softmax层。
• 使用随机梯度下降优化L2-SVM的原始形式，实现通过整个网络的反向传播。
• 使用平方合页损失（L2-SVM）对分类错误的样本施加比标准合页损失（L1-SVM）更重的惩罚。
• 端到端训练整个网络，使低层特征与SVM目标联合优化。
• 应用数据增强（随机水平翻转和抖动）以及输入级高斯噪声（σ = 1.0，衰减至0），以提升泛化能力。
• 针对每个模型分别使用验证集对超参数（学习率、权重衰减、SVM C）进行调优。

实验结果

研究问题

• RQ1 用线性SVM替换softmax层是否能在标准深度学习基准上提升测试准确率？
• RQ2 性能提升是源于L2-SVM的目标函数，还是更优的优化能力？
• RQ3 L2-SVM损失与交叉熵损失在正则化和泛化方面有何比较？
• RQ4 在端到端训练中使用L2-SVM层的深度网络能否在无需无监督预训练或复杂架构的情况下达到最先进性能？

主要发现

• DLSVM模型在MNIST上的测试误差为0.87%，优于相同训练条件下softmax基线的0.99%。
• 在CIFAR-10上，DLSVM模型的测试误差为11.9%，而softmax模型为14.0%，表现出一致的性能提升。
• DLSVM模型中，L2-SVM目标的合页损失显著更低（0.313），相比交叉熵损失（0.353），表明其具有更优的间隔学习能力。
• 当使用DLSVM权重进行初始化后，softmax模型在进一步训练后误差上升至14.0%，表明DLSVM目标在泛化方面更有效。
• 性能提升主要归因于L2-SVM损失的正则化特性，而非优化优势。
• 对学习滤波器的可视化显示，DLSVM训练的网络产生了更具纹理的滤波器，表明其在特征学习上存在差异。