[论文解读] High-Performance Distributed ML at Scale through Parameter Server Consistency Models

Wei Dai, Abhimanu Kumar+4 more|arXiv (Cornell University)|Oct 29, 2014

Cloud Computing and Resource Management参考文献 19被引用 72

一句话总结

本文提出了一种新型参数服务器一致性模型——主动过时同步并行（Eager Stale Synchronous Parallel, ESSP），通过主动发送更新以减少分布式机器学习中的过时程度，从而提升收敛速度和系统吞吐量。ESSP 在理论上实现了与理想值有界异步并行（Value-Bounded Asynchronous Parallel, VAP）模型相当的保证，同时具备实际可实施性，在LDA和矩阵分解工作负载上，其收敛速度和每秒性能均优于先前的模型（如过时同步并行，SSP）。

ABSTRACT

As Machine Learning (ML) applications increase in data size and model complexity, practitioners turn to distributed clusters to satisfy the increased computational and memory demands. Unfortunately, effective use of clusters for ML requires considerable expertise in writing distributed code, while highly-abstracted frameworks like Hadoop have not, in practice, approached the performance seen in specialized ML implementations. The recent Parameter Server (PS) paradigm is a middle ground between these extremes, allowing easy conversion of single-machine parallel ML applications into distributed ones, while maintaining high throughput through relaxed "consistency models" that allow inconsistent parameter reads. However, due to insufficient theoretical study, it is not clear which of these consistency models can really ensure correct ML algorithm output; at the same time, there remain many theoretically-motivated but undiscovered opportunities to maximize computational throughput. Motivated by this challenge, we study both the theoretical guarantees and empirical behavior of iterative-convergent ML algorithms in existing PS consistency models. We then use the gleaned insights to improve a consistency model using an "eager" PS communication mechanism, and implement it as a new PS system that enables ML algorithms to reach their solution more quickly.

研究动机与目标

• 为解决当前对宽松一致性模型如何影响分布式机器学习中收敛性和稳定性缺乏理论理解的问题。
• 识别在参数服务器架构中提升吞吐量并减少过时程度的系统级优化机会。
• 设计一种实用的一致性模型，实现理想模型（如 VAP）的理论优势，而无需依赖严格同步。
• 实现并评估基于 ESSP 的新系统，其在收敛速度和效率方面优于现有参数服务器模型。
• 通过结合理论分析与实证验证，弥合理论一致性模型与真实世界分布式机器学习性能之间的差距。

提出的方法

• 提出主动过时同步并行（ESSP），作为过时同步并行（SSP）的变体，通过在需要前主动发送参数更新，减少过时程度。
• 为 ESSP 和 VAP 推导新的方差界，以刻画在宽松一致性下解的稳定性和收敛行为。
• 通过理论分析表明，尽管 ESSP 更易于实际实现，但其收敛保证与理想 VAP 模型相当。
• 在参数服务器系统中实现 ESSP，并在标准机器学习工作负载（包括 LDA 和矩阵分解）上进行评估。
• 在 ESSP 中采用流水线通信策略，以减少客户端线程阻塞，提升系统吞吐量。
• 通过实证比较 ESSP 与 SSP 和 VAP，在不同过时程度设置下测量每轮迭代和每秒的收敛表现。

实验结果

研究问题

• RQ1 过时参数读取的分布如何影响迭代收敛型机器学习算法的收敛速度和稳定性？
• RQ2 一种实用的一致性模型是否可以在不依赖严格同步的前提下，实现理想 VAP 模型的理论收敛保证？
• RQ3 在参数服务器架构中，可应用哪些系统级优化来减少过时程度并提升吞吐量？
• RQ4 ESSP 在收敛速度（每轮迭代和每秒）方面与 SSP 和 VAP 相比如何？
• RQ5 通过主动通信减少过时程度在多大程度上能提升整体机器学习训练性能？

主要发现

• 与 SSP 相比，ESSP 降低了平均过时程度，从而实现更快的每轮迭代收敛速度，与理论方差界一致。
• ESSP 在每秒性能上的加速比大于每轮迭代的加速比，表明由于减少了阻塞和更好的流水线处理，系统级吞吐量得到提升。
• 理论方差界表明，尽管 ESSP 更易于实现，但其提供的解稳定性保证与理想 VAP 模型相当。
• 实证结果表明，ESSP 在 LDA 和矩阵分解工作负载上，无论是每轮迭代收敛速度还是每秒性能，均优于 SSP。
• ESSP 的改进减少了对过时参数手动调优的需求，而这是 SSP 的一个关键局限。
• ESSP 的主动通信机制降低了客户端线程等待更新的可能性，从而提升了整体系统效率。