[论文解读] Dual coordinate solvers for large-scale structural SVMs

Deva Ramanan|arXiv (Cornell University)|Dec 6, 2013

Human Pose and Action Recognition参考文献 22被引用 14

一句话总结

本文提出了一种用于大规模结构SVM的对偶坐标下降求解器，通过结合批量优化与在线数据处理，高效处理了超出内存容量的数据集。通过利用先前解进行热启动，并动态平衡数据访问与优化过程，该方法在保持批量方法的稳定性和收敛速度的同时，实现了对超出内存容量数据集的可扩展处理。

ABSTRACT

This manuscript describes a method for training linear SVMs (including binary SVMs, SVM regression, and structural SVMs) from large, out-of-core training datasets. Current strategies for large-scale learning fall into one of two camps; batch algorithms which solve the learning problem given a finite datasets, and online algorithms which can process out-of-core datasets. The former typically requires datasets small enough to fit in memory. The latter is often phrased as a stochastic optimization problem; such algorithms enjoy strong theoretical properties but often require manual tuned annealing schedules, and may converge slowly for problems with large output spaces (e.g., structural SVMs). We discuss an algorithm for an "intermediate" regime in which the data is too large to fit in memory, but the active constraints (support vectors) are small enough to remain in memory. In this case, one can design rather efficient learning algorithms that are as stable as batch algorithms, but capable of processing out-of-core datasets. We have developed such a MATLAB-based solver and used it to train a collection of recognition systems for articulated pose estimation, facial analysis, 3D object recognition, and action classification, all with publicly-available code. This writeup describes the solver in detail.

研究动机与目标

• 解决在超出内存容量的数据集上训练结构SVM的挑战，弥合批量学习与在线学习之间的差距。
• 开发一种求解器，保持批量方法的稳定性和收敛特性，同时以流式方式处理数据。
• 实现在内存开销极小的前提下，对超出内存容量的数据集高效训练线性SVM，包括结构SVM和潜在SVM。
• 引入数据访问与优化之间的自适应调度，以提升收敛速度和模型质量。
• 在优化框架中支持灵活的正则化和非负性约束，以增强方法的适用性。

提出的方法

• 将liblinear中的快速对偶坐标下降算法适配以处理广义SVM公式，包括结构SVM和潜在SVM。
• 修改求解器以在部分在线模式下运行，以小批量内存数据处理方式处理数据，同时保持全局收敛性。
• 利用先前计算的解作为每次新优化批次的热启动，显著降低每次迭代的计算成本。
• 维护对偶间隙的上下界，以指导在探索新数据与优化现有数据之间的最优权衡。
• 将QP公式推广以支持每个样本的多个约束共享松弛变量，从而高效处理大规模输出空间。
• 通过统一的对偶QP公式，将各种SVM变体——二分类、多分类、回归、结构SVM和潜在SVM——映射到同一优化框架中。

实验结果

研究问题

• RQ1 能否将对偶坐标下降方法适配用于在超出内存容量的数据集上训练结构SVM，同时保持批量方法的收敛性和稳定性？
• RQ2 如何利用先前解的热启动来提升大规模学习中迭代优化的效率？
• RQ3 在在线设置中，如何实现数据访问与优化之间的最优平衡策略以加速收敛？
• RQ4 在输出空间呈指数级增长的问题中，如何有效利用共享松弛变量来控制损失增长？
• RQ5 所提出的方法能否推广以支持SVM训练中的非负性约束和灵活正则化？

主要发现

• 所提出的求解器通过结合批量优化与在线数据处理，在大规模结构SVM问题上实现了稳定且快速的收敛。
• 利用先前解进行热启动优化，显著降低了每个新批次的计算成本，实现了高效的增量学习。
• 基于对偶间隙边界设计的自适应调度策略，在在线设置中相比固定或随机调度具有更快的收敛速度。
• 该方法成功地在外存容量较大的数据集上训练了多种识别系统，包括关节姿态估计、面部分析、3D物体识别和动作分类。
• 通过统一的QP公式，该求解器支持多种SVM变体，包括二分类、多分类、回归、结构SVM和潜在结构SVM。
• 实验结果表明，该方法在收敛速度和模型质量方面优于标准在线算法，尤其在输出空间较大的问题上表现更优。