[论文解读] Optimal learning rates for localized SVMs

Mona Meister, Ingo Steinwart|arXiv (Cornell University)|Jan 1, 2016

Face and Expression Recognition参考文献 59被引用 35

一句话总结

本文提出一种基于高斯核与最小二乘损失的局部化SVM方法，通过空间邻近性划分数据，实现接近极小极大最优的泛化速率，同时显著降低计算成本。与基于随机划分的训练方式相比，该方法在保持高测试准确率的同时大幅缩短训练时间，在效率与性能上均优于随机分块方法。

ABSTRACT

One of the limiting factors of using support vector machines (SVMs) in large scale applications are their super-linear computational requirements in terms of the number of training samples. To address this issue, several approaches that train SVMs on many small chunks separately have been proposed in the literature. With the exception of random chunks, which is also known as divide-and-conquer kernel ridge regression, however, these approaches have only been empirically investigated. In this work we investigate a spatially oriented method to generate the chunks. For the resulting localized SVM that uses Gaussian kernels and the least squares loss we derive an oracle inequality, which in turn is used to deduce learning rates that are essentially minimax optimal under some standard smoothness assumptions on the regression function. In addition, we derive local learning rates that are based on the local smoothness of the regression function. We further introduce a data-dependent parameter selection method for our local SVM approach and show that this method achieves the same almost optimal learning rates. Finally, we present a few larger scale experiments for our localized SVM showing that it achieves essentially the same test error as a global SVM for a fraction of the computational requirements. In addition, it turns out that the computational requirements for the local SVMs are similar to those of a vanilla random chunk approach, while the achieved test errors are significantly better.

研究动机与目标

• 解决全局SVM在大规模应用中出现的超线性计算成本问题。
• 开发一种基于空间信息的训练数据局部化划分方法，以提升训练效率。
• 在回归函数光滑性假设下，推导局部化SVM的理论泛化速率。
• 提出一种数据驱动的参数选择方法，以保持最优泛化速率。
• 通过实证验证，局部化SVM在仅使用极小部分计算资源的情况下，达到与全局SVM相当的测试准确率。

提出的方法

• 采用网格划分或基于聚类的方法，将输入空间划分为空间局部化的区域，形成训练数据块。
• 每个局部SVM在基于空间限制的子集上独立训练，使用高斯核与最小二乘损失。
• 推导一个理论Oracle不等式，用于控制局部化SVM的泛化误差，从而支持理论泛化速率分析。
• 基于底层回归函数的局部光滑性推导学习速率，提升对非均匀数据光滑性的自适应能力。
• 提出一种数据依赖的参数选择规则，自动调节超参数以实现最优收敛速率。
• 理论分析表明，所提方法在标准光滑性条件下，可实现本质上极小极大最优的学习速率。

实验结果

研究问题

• RQ1 基于空间局部化的训练数据划分是否可使SVM实现接近极小极大最优的学习速率？
• RQ2 回归函数的局部光滑性如何影响局部化SVM的学习速率？
• RQ3 数据驱动的参数选择方法能否实现与理论最优选择相当的学习速率？
• RQ4 局部化SVM的计算成本与全局SVM及随机分块SVM相比如何？
• RQ5 局部化SVM是否能在显著降低训练时间的同时，保持与全局SVM相当的测试准确率？

主要发现

• 在回归函数的标准光滑性假设下，局部化SVM实现的学习速率本质上为极小极大最优。
• 基于回归函数局部光滑性的局部学习速率设计，提升了对非均匀数据的自适应性与性能表现。
• 所提出的依赖数据的参数选择方法在无需预先知晓光滑性信息的情况下，实现了近乎最优的学习速率。
• 大规模实验表明，局部化SVM在仅使用极小部分计算资源的情况下，达到与全局SVM相当的测试误差。
• 局部化SVM的计算成本与随机分块方法相近，但测试误差显著更低，证明其在效率-准确率权衡上具有更优表现。