[论文解读] Distributed GraphLab: A Framework for Machine Learning in the Cloud

Yucheng Low, Joseph E. Gonzalez+4 more|arXiv (Cornell University)|Apr 26, 2012

Graph Theory and Algorithms参考文献 34被引用 91

一句话总结

本文提出了Distributed GraphLab，一种用于云环境中可扩展机器学习与数据挖掘的高级框架，将共享内存的GraphLab抽象扩展至分布式系统。它通过流水线锁、数据版本控制以及一种新颖的原子图（atom graph）实现数据放置，实现了异步、动态、图并行计算的高效执行，在Amazon EC2上相比Hadoop性能提升20–60倍，并与手写优化的MPI系统性能相当。

ABSTRACT

While high-level data parallel frameworks, like MapReduce, simplify the design and implementation of large-scale data processing systems, they do not naturally or efficiently support many important data mining and machine learning algorithms and can lead to inefficient learning systems. To help fill this critical void, we introduced the GraphLab abstraction which naturally expresses asynchronous, dynamic, graph-parallel computation while ensuring data consistency and achieving a high degree of parallel performance in the shared-memory setting. In this paper, we extend the GraphLab framework to the substantially more challenging distributed setting while preserving strong data consistency guarantees. We develop graph based extensions to pipelined locking and data versioning to reduce network congestion and mitigate the effect of network latency. We also introduce fault tolerance to the GraphLab abstraction using the classic Chandy-Lamport snapshot algorithm and demonstrate how it can be easily implemented by exploiting the GraphLab abstraction itself. Finally, we evaluate our distributed implementation of the GraphLab abstraction on a large Amazon EC2 deployment and show 1-2 orders of magnitude performance gains over Hadoop-based implementations.

研究动机与目标

• 解决现有框架（如MapReduce和Pregel）在支持机器学习与数据挖掘中的异步、动态、图并行计算方面的局限性。
• 在保持强数据一致性和高并行性能的前提下，将共享内存的GraphLab抽象扩展至分布式环境。
• 通过基于图的数据版本控制和流水线锁，减轻网络拥塞并缓解分布式执行中的网络延迟。
• 利用Chandy-Lamport快照算法实现框架的容错性，该算法可原生地在GraphLab抽象中表达。
• 通过在512处理器的EC2集群上进行大规模评估，展示其在性能上显著优于Hadoop、Pregel和MPI的改进。

提出的方法

• 采用两级分区方案，将GraphLab抽象扩展至分布式系统，实现高效的负载均衡与数据接入。
• 引入原子图（atom graph）以实现在分布式节点间快速、具有局部性感知的数据放置。
• 采用流水线分布式锁机制，隐藏网络延迟，并在锁引擎中支持动态优先级执行。
• 利用图着色技术，实现部分同步的彩色执行引擎，支持静态调度并保证顺序一致性。
• 通过两种快照机制实现容错：一种为同步方法，另一种为基于Chandy-Lamport的异步方法，二者均可使用GraphLab原原子操作表达。
• 通过数据版本控制优化框架，减少网络拥塞，提升分布式环境下的可扩展性。

实验结果

研究问题

• RQ1 在保持数据一致性和高性能的前提下，GraphLab抽象能否有效扩展至分布式环境？
• RQ2 在分布式图并行计算中，如何减轻网络拥塞与延迟？
• RQ3 能否通过标准分布式算法高效地将容错机制集成到GraphLab抽象中？
• RQ4 与同步或批处理方法相比，动态异步计算在多大程度上能提升机器学习算法的收敛速度？
• RQ5 在真实工作负载下，Distributed GraphLab与Hadoop、Pregel及手写优化的MPI实现相比，性能表现如何？

主要发现

• 在512处理器的Amazon EC2集群上，Distributed GraphLab相比Hadoop/MapReduce实现性能提升20–60倍。
• 该框架的性能与精心手调的MPI实现相当，证明了其在分布式执行中的高效性。
• 在Netflix推荐任务中，GraphLab的动态计算在更新次数约为批处理或同步方法的一半时，即可收敛至相同的测试误差。
• 在Amazon EC2上，GraphLab的价格-性能比显著优于Hadoop，成本基于细粒度计费模型计算。
• 结合流水线锁与延迟隐藏的锁引擎，可在通用图结构上实现高效的异步执行，在动态工作负载中优于同步模型。
• 通过Chandy-Lamport快照成功实现了容错机制，且该机制可原生使用GraphLab原原子操作表达，简化了部署与正确性验证。