[论文解读] Distributed Training of Structured SVM

Ching-pei Lee, Kai-Wei Chang+2 more|arXiv (Cornell University)|Jun 8, 2015

Advanced Image and Video Retrieval Techniques参考文献 25被引用 5

一句话总结

该论文提出了一种用于训练结构化支持向量机（SSVMs）的分布式块坐标下降算法，尽管目标函数非光滑，仍能实现全局线性收敛。通过利用特征哈希和通过对偶坐标下降高效求解子问题，该方法实现了跨多台机器的可扩展、高性能训练，在词性标注和依存句法分析任务中，其速度和精度均优于现有的分布式和单机基线方法。

ABSTRACT

Training structured prediction models is time-consuming. However, most existing approaches only use a single machine, thus, the advantage of computing power and the capacity for larger data sets of multiple machines have not been exploited. In this work, we propose an efficient algorithm for distributedly training structured support vector machines based on a distributed block-coordinate descent method. Both theoretical and experimental results indicate that our method is efficient.

研究动机与目标

• 为解决单机结构化学习的可扩展性限制，通过实现SSVM的分布式训练来提升性能。
• 克服分布式结构化学习中的挑战，包括运行时特征生成和通信-推理之间的权衡。
• 在分布式SSVM训练中实现快速收敛，尤其针对非光滑目标函数。
• 在不因特征同步带来高通信开销的前提下，保持多台机器之间的模型一致性。
• 在大规模结构化预测任务（如词性标注和依存句法分析）上，实证验证该方法的效率和可扩展性。

提出的方法

• 该方法基于SSVM的BQO（盒约束二次优化）算法，采用分布式块坐标下降框架。
• 将SSVM的对偶问题表述为具有非光滑目标函数的大规模优化问题，并通过迭代更新对偶变量求解。
• 每台机器负责处理训练样本的一个子集，使用现成的求解器（如对偶坐标下降）求解小型SSVM子问题。
• 采用特征哈希将动态生成的运行时特征映射到固定大小的整数索引，确保多台机器之间特征索引的一致性，而无需完全同步。
• 通过仅在机器之间交换必要的对偶变量更新来最小化通信量，且在全局线性收敛率条件下保证收敛。
• 通过允许子问题的近似解，平衡通信成本与推理成本，以减少通信轮次并降低推理调用次数。

实验结果

研究问题

• RQ1 尽管目标函数非光滑，该分布式算法能否实现SSVM的全局线性收敛？
• RQ2 在训练过程中特征动态生成的情况下，如何在分布式机器之间保持特征一致性？
• RQ3 在分布式结构化学习中，通信成本与推理成本之间的权衡是什么？如何实现优化？
• RQ4 与现有的分布式和单机SSVM训练方法相比，该方法在收敛速度和精度上的表现如何？
• RQ5 该方法在多台机器上是否能高效扩展，特别是在依存句法分析等推理成本较高的任务中？

主要发现

• 所提出的BQO-Struct算法对非光滑结构化SVM目标函数实现了全局线性收敛率O(log(1/ε))，显著优于次线性收敛方法。
• 在依存句法分析任务中，BQO-Struct随着机器数量增加实现了接近线性的加速，表明其有效并行化了计算量大的推理步骤。
• 在词性标注任务中，由于单机训练本身已很快，分布式训练带来的加速有限，证实了在高复杂度任务中推理成本主导了训练时间。
• 在两个任务中，BQO-Struct在训练速度和测试性能上均优于ADMM-Struct、分布式感知机和模型平均方法。
• 特征哈希的使用在保持最小通信开销的同时实现了跨机器的特征索引一致性，使该方法在大规模分布式学习中具有实际可行性。
• 实证结果表明，该方法在大规模结构化预测任务中非常有效，尤其当推理成为主要计算瓶颈时。