[论文解读] Dropout Training for Support Vector Machines

Ning Chen, Jun Zhu+2 more|arXiv (Cornell University)|Apr 16, 2014

Face and Expression Recognition参考文献 23被引用 13

一句话总结

本论文提出了一种针对线性支持向量机（SVM）的高效dropout训练方法，采用迭代重加权最小二乘法（IRLS）算法处理特征污染下的非光滑合页损失。通过利用数据增强和变分界，该方法在标准SVM及竞争方法的基础上显著提升了准确率，尤其在推理时特征删除的情况下表现更优。

ABSTRACT

Dropout and other feature noising schemes have shown promising results in controlling over-fitting by artificially corrupting the training data. Though extensive theoretical and empirical studies have been performed for generalized linear models, little work has been done for support vector machines (SVMs), one of the most successful approaches for supervised learning. This paper presents dropout training for linear SVMs. To deal with the intractable expectation of the non-smooth hinge loss under corrupting distributions, we develop an iteratively re-weighted least square (IRLS) algorithm by exploring data augmentation techniques. Our algorithm iteratively minimizes the expectation of a re-weighted least square problem, where the re-weights have closed-form solutions. The similar ideas are applied to develop a new IRLS algorithm for the expected logistic loss under corrupting distributions. Our algorithms offer insights on the connection and difference between the hinge loss and logistic loss in dropout training. Empirical results on several real datasets demonstrate the effectiveness of dropout training on significantly boosting the classification accuracy of linear SVMs.

研究动机与目标

• 为解决支持向量机缺乏有效的dropout训练方法的问题，尽管SVM表现优异，但在特征噪声下由于合页损失的非光滑性而面临挑战。
• 开发一种计算高效的算法，以最小化在污染分布下的期望合页损失，克服直接计算期望的不可行性。
• 将IRLS框架扩展至dropout训练中的合页损失与逻辑损失，提供关于两者差异与联系的理论与实证洞察。
• 通过实证验证所提方法在真实场景中的鲁棒性与性能，包括‘推理时噩梦’设置，即推理过程中特征可能被删除。

提出的方法

• 利用数据增强将非光滑合页损失的不可行期望转化为涉及具有广义逆高斯分布的辅助变量的变分上界。
• 开发一种IRLS算法，通过迭代最小化重加权最小二乘问题，其中每一步的重加权系数均可闭式计算。
• 将相同的IRLS框架应用于推导逻辑回归的dropout训练新算法，扩展经典IRLS方法。
• 采用对污染分布的边际化策略，在不显式生成所有污染数据版本的情况下，对无限多个污染数据版本进行训练。
• 提出一种变分目标，通过上界逼近期望合页损失，从而通过迭代重加权实现高效优化。
• 使用交叉验证调优正则化与dropout水平，尤其在‘推理时噩梦’评估设置中。

实验结果

研究问题

• RQ1 在污染分布下合页损失的非光滑性背景下，能否有效将dropout训练扩展至支持向量机？
• RQ2 当闭式解不可行时，如何高效最小化特征噪声下的合页损失期望？
• RQ3 在dropout训练背景下，合页损失与逻辑损失的行为关系如何？它们在优化与泛化方面有何差异？
• RQ4 所提出的基于IRLS的SVM dropout训练方法在推理时特征删除场景下的鲁棒性方面，与最先进方法相比如何？
• RQ5 所提方法能否在真实数据集上显著提升分类准确率，尤其是在高特征污染或删除情况下？

主要发现

• 在CIFAR-10数据集上，Dropout-SVM在dropout污染下的测试误差为0.294，优于标准SVM与MCF-Logistic。
• 在MNIST数据集的‘推理时噩梦’场景中，Dropout-SVM在特征删除超过10%时始终优于Hinge-L2与Hinge-FDROP。
• 当特征删除超过50%时，所提IRLS算法在逻辑回归上的表现略优于MCF-Logistic。
• Poisson污染模型的性能略逊于dropout，与先前观察一致。
• MCF-Quadratic方法（Dropout-SVM的特例）在相同设置下表现劣于Dropout-SVM，验证了所提框架的优越性。
• 该方法在高污染推理时场景中表现出强大的鲁棒性与泛化能力，凸显其实际应用价值。