[论文解读] Fast Support Vector Machines Using Parallel Adaptive Shrinking on Distributed Systems

Jeyanthi Narasimhan, Abhinav Vishnu+2 more|arXiv (Cornell University)|Jun 19, 2014

Neural Networks and Applications参考文献 21被引用 5

一句话总结

该论文提出了一种基于自适应缩减的并行分布式SVM训练算法，通过动态消除非贡献样本加速收敛。通过结合稀疏数据表示、基于MPI/GA的并行计算，以及早期样本移除的启发式方法，该方法在大规模数据集上相比串行libsvm实现最高26倍的加速，相比并行基线提升30–60%。

ABSTRACT

Support Vector Machines (SVM), a popular machine learning technique, has been applied to a wide range of domains such as science, finance, and social networks for supervised learning. Whether it is identifying high-risk patients by health-care professionals, or potential high-school students to enroll in college by school districts, SVMs can play a major role for social good. This paper undertakes the challenge of designing a scalable parallel SVM training algorithm for large scale systems, which includes commodity multi-core machines, tightly connected supercomputers and cloud computing systems. Intuitive techniques for improving the time-space complexity including adaptive elimination of samples for faster convergence and sparse format representation are proposed. Under sample elimination, several heuristics for {\em earliest possible} to {\em lazy} elimination of non-contributing samples are proposed. In several cases, where an early sample elimination might result in a false positive, low overhead mechanisms for reconstruction of key data structures are proposed. The algorithm and heuristics are implemented and evaluated on various publicly available datasets. Empirical evaluation shows up to 26x speed improvement on some datasets against the sequential baseline, when evaluated on multiple compute nodes, and an improvement in execution time up to 30-60\% is readily observed on a number of other datasets against our parallel baseline.

研究动机与目标

• 解决现有并行SVM算法在大规模系统（包括多核、超级计算机和云环境）中的可扩展性限制。
• 通过自适应缩减在训练早期消除非贡献样本，克服在整个训练过程中使用完整数据集的低效问题。
• 通过稀疏数据表示和消除核缓存，降低空间和时间复杂度。
• 设计一种可扩展且通信高效的实现，利用MPI和全局数组（Global Arrays）实现高性能的分布式执行。
• 在多种真实世界数据集上评估所提算法，证明其在执行性能上显著优于串行和并行基线。

提出的方法

• 采用自适应缩减启发式方法——激进型、平均型和保守型——在训练迭代过程中动态消除非支持向量。
• 使用稀疏数据结构表示样本，最小化内存占用，并在大规模数据集上提升缓存效率。
• 使用MPI和全局数组实现高效节点间通信和分布式数据管理。
• 引入轻量级重建机制，在早期移除可能引发误报的风险时恢复关键数据结构。
• 在对偶坐标下降框架中应用工作集选择，利用缩减的理论基础实现收敛速度提升。
• 通过避免存储核缓存并支持异构系统（包括GPU和未来加速器）来优化现代架构的性能。

实验结果

研究问题

• RQ1 在分布式环境下，自适应缩减是否能显著缩短SVM训练时间而不影响解的质量？
• RQ2 不同缩减启发式方法（激进型、平均型、保守型）在不同数据集上的收敛速度和可扩展性有何影响？
• RQ3 稀疏数据表示和消除核缓存在大规模、内存受限系统上的性能提升程度如何？
• RQ4 与现有基线相比，所提并行算法在多核系统、紧密耦合的超级计算机和基于云的集群上的可扩展性如何？
• RQ5 结合分布式计算模型（MPI/GA）与动态样本消除，是否能在真实世界数据集上实现更优性能？

主要发现

• 在多个计算节点上训练时，所提算法相比串行libsvm基线最高实现26倍加速。
• 在多个数据集上，与无缩减的并行基线相比，该算法执行时间提升30–60%。
• USPS和Mushrooms数据集相比串行基线实现5倍–8倍加速，表明在中等规模数据上具有强可扩展性。
• 稀疏数据表示和消除核缓存显著降低了内存压力，并在大规模数据集上提升了性能。
• 自适应缩减启发式方法——尤其是保守型和平均型——在不同数据分布下保持了解的准确性，同时加速了收敛。
• 基于MPI和全局数组的实现可在多核系统和大规模超级计算机上有效扩展，证实了其在异构架构上的可移植性和高性能。