[论文解读] Approximate Stochastic Subgradient Estimation Training for Support Vector Machines

Sangkyun Lee, Stephen J. Wright|arXiv (Cornell University)|Nov 2, 2011

Machine Learning and Algorithms参考文献 25被引用 5

一句话总结

本文提出 ASSET，一种用于训练非线性支持向量机的随机次梯度方法，无需强凸性或对偶公式化。通过使用非线性核的随机低维近似，并应用具有 $O(1/\sqrt{t})$ 步长的鲁棒随机逼近，该方法在预测精度上与最先进求解器相当，但训练时间显著更快，尤其在大规模和在线设置中表现优异。

ABSTRACT

Subgradient algorithms for training support vector machines have been quite successful for solving large-scale and online learning problems. However, they have been restricted to linear kernels and strongly convex formulations. This paper describes efficient subgradient approaches without such limitations. Our approaches make use of randomized low-dimensional approximations to nonlinear kernels, and minimization of a reduced primal formulation using an algorithm based on robust stochastic approximation, which do not require strong convexity. Experiments illustrate that our approaches produce solutions of comparable prediction accuracy with the solutions acquired from existing SVM solvers, but often in much shorter time. We also suggest efficient prediction schemes that depend only on the dimension of kernel approximation, not on the number of support vectors.

研究动机与目标

• 解决由于缺乏显式特征映射而导致非线性支持向量机缺乏高效次梯度方法的问题。
• 克服现有次梯度方法依赖强凸性和线性核的限制。
• 通过使用非线性特征空间的随机低维近似，建立原始公式化，以实现可扩展的训练。
• 通过将预测复杂度与支持向量数量解耦，实现在在线和大规模学习中的高效性。
• 提供一种框架，在显著减少训练时间的同时，保持高预测精度，相较于批量求解器具有明显优势。

提出的方法

• 通过随机基构造或格朗姆矩阵近似，对非线性特征映射进行随机低维近似。
• 在近似特征空间中使用原始公式化，结合 $O(1/\sqrt{t})$ 步长，构建 SVM 问题。
• 应用鲁棒随机逼近算法，最小化简化后的原始问题，且无需强凸性假设。
• 构建仅依赖于近似维数 $d$ 而非支持向量数量的高效预测方案。
• 利用近似值的迭代计算，支持在线学习和增量更新。
• 通过迭代值的平均化，提升在缺乏强凸性条件下的收敛性和稳定性。

实验结果

研究问题

• RQ1 次梯度方法能否在不依赖对偶公式化或强凸性的情况下，有效扩展到非线性支持向量机？
• RQ2 使用随机低维核近似如何影响随机支持向量机训练的收敛性和精度？
• RQ3 在强凸性丧失的情况下，$O(1/\sqrt{t})$ 步长方案是否能在实际中表现优于或匹配 $O(1/t)$ 方案？
• RQ4 在近似核方法中，预测复杂度在多大程度上可以与支持向量数量解耦？
• RQ5 在大规模数据集上，该方法与现有批量和在线支持向量机求解器相比，在速度和精度方面表现如何？

主要发现

• ASSET 方法在测试误差率上与 CPSP 和 SVM-Light 相当，但训练时间显著更快——在某些数据集上比 CPSP 快高达 40 倍。
• 在 MNIST-E 数据集上，ASSET F 使用 $d=16384$ 时在 7.2 小时内达到 2.7% 的测试误差，而 LASVM 花费 4.3 天才达到 0.2% 的误差。
• 尽管 ASSET M 的理论收敛速度较慢，但 ASSET M 和 ASSET $^{*}_{M}$ 表现相似，原因在于其最优正则化参数接近零，导致强凸性假设被打破。
• 在 ADULT 数据集上，CPNY 显示出异常长的运行时间，表明可能存在数值不稳定性，而 ASSET 方法始终保持高效和稳定。
• 基于核近似维数 $d$ 的预测方案使推理速度极快，且不受支持向量数量影响，从而支持可扩展的部署。
• 即使目标函数因 $\lambda$ 较小而近乎弱凸，$O(1/\sqrt{t})$ 步长方案在实践中表现几乎与 $O(1/t)$ 方案相当。