[论文解读] Consistent Bounded-Asynchronous Parameter Servers for Distributed ML

Jinliang Wei, Wei Dai+4 more|arXiv (Cornell University)|Dec 30, 2013

Interconnection Networks and Systems参考文献 10被引用 6

一句话总结

本文提出了三种宽松的一致性模型——CAP、VAP 和 CVAP——用于分布式机器学习中的异步参数服务器，实现了高吞吐量的同时确保理论收敛性。通过限制陈旧度并使用向量时钟，系统在 LDA 等迭代式机器学习算法中保持了算法正确性，在最多 32 个核心的小型集群上实现了强可扩展性。

ABSTRACT

In distributed ML applications, shared parameters are usually replicated among computing nodes to minimize network overhead. Therefore, proper consistency model must be carefully chosen to ensure algorithm's correctness and provide high throughput. Existing consistency models used in general-purpose databases and modern distributed ML systems are either too loose to guarantee correctness of the ML algorithms or too strict and thus fail to fully exploit the computing power of the underlying distributed system. Many ML algorithms fall into the category of \emph{iterative convergent algorithms} which start from a randomly chosen initial point and converge to optima by repeating iteratively a set of procedures. We've found that many such algorithms are to a bounded amount of inconsistency and still converge correctly. This property allows distributed ML to relax strict consistency models to improve system performance while theoretically guarantees algorithmic correctness. In this paper, we present several relaxed consistency models for asynchronous parallel computation and theoretically prove their algorithmic correctness. The proposed consistency models are implemented in a distributed parameter server and evaluated in the context of a popular ML application: topic modeling.

研究动机与目标

• 通过放宽一致性模型，解决分布式机器学习中系统吞吐量与算法正确性之间的权衡问题。
• 在不牺牲迭代式机器学习算法收敛保证的前提下，实现高性能的异步计算。
• 设计一种能限制陈旧度并可在实际分布式系统中部署的一致性模型。
• 在主题建模（LDA）上评估所提出的模型，并在集群上展示其高效的可扩展性。

提出的方法

• 提出时钟有界异步并行（CAP）模型，允许任意时间进行更新，同时利用向量时钟限制陈旧度。
• 引入基于向量的异步并行（VAP）模型，利用向量时钟跟踪进度并确保不一致性的有界性。
• 设计一致的基于向量的异步并行（CVAP）模型，该模型结合了强一致性保证与高吞吐量。
• 在 Petuum PS 中实现这些模型，该参数服务器采用两级缓存层次结构和消息批处理机制，以减少网络开销。
• 使用一致性控制器和基于策略的 API 语义，模块化地支持每张表的不同一致性模型。
• 采用客户端推送、客户端拉取和服务器推送消息机制，并结合基于优先级的批处理，以优化网络利用率。

实验结果

研究问题

• RQ1 具有有界陈旧度的宽松一致性模型是否能确保 LDA 等分布式机器学习算法的收敛性？
• RQ2 与严格模型（如 SSP 或顺序一致性）相比，有界异步一致性在吞吐量和收敛速度方面表现如何？
• RQ3 在不损害算法正确性的情况下，通过放宽一致性可在多大程度上提升系统性能？
• RQ4 所提出的模型在具有真实工作负载的实际集群上能否实现高效可扩展？

主要发现

• 所提出的 CAP、VAP 和 CVAP 一致性模型在保证迭代式机器学习算法收敛的同时，实现了高吞吐量的异步计算。
• 系统在 8 个节点的集群上表现出强可扩展性，最多支持 32 个核心，在主题建模工作负载中接近线性加速。
• 在包含 2,000 个主题和 11,269 篇文档的 20News 数据集上的实验表明，弱一致性模型下收敛稳定。
• 通过使用向量时钟和有界陈旧度，确保所有更新最终被看到，从而在异步环境下防止发散。
• 消息批处理和两级缓存层次结构显著减少了网络竞争并隐藏了延迟。