[论文解读] GraphLab: A New Framework For Parallel Machine Learning

Yucheng Low, Joseph E. Gonzalez+4 more|arXiv (Cornell University)|Aug 9, 2014

Advanced Graph Neural Networks参考文献 15被引用 438

一句话总结

本文介绍了GraphLab，一种专为机器学习工作负载设计的高级并行计算框架。它通过提供数据一致性保证和高性能，实现了对稀疏依赖关系的异步迭代算法的高效实现，在大规模机器学习任务（如信念传播、Lasso和压缩感知）上优于传统的抽象模型（如MapReduce）。

ABSTRACT

Designing and implementing efficient, provably correct parallel machine learning (ML) algorithms is challenging. Existing high-level parallel abstractions like MapReduce are insufficiently expressive while low-level tools like MPI and Pthreads leave ML experts repeatedly solving the same design challenges. By targeting common patterns in ML, we developed GraphLab, which improves upon abstractions like MapReduce by compactly expressing asynchronous iterative algorithms with sparse computational dependencies while ensuring data consistency and achieving a high degree of parallel performance. We demonstrate the expressiveness of the GraphLab framework by designing and implementing parallel versions of belief propagation, Gibbs sampling, Co-EM, Lasso and Compressed Sensing. We show that using GraphLab we can achieve excellent parallel performance on large scale real-world problems.

研究动机与目标

• 解决设计和实现高效、正确并行机器学习算法的困难。
• 克服现有抽象模型（如MapReduce）在迭代式机器学习工作负载中表达能力不足的局限。
• 提供比低级工具（如MPI和Pthreads）更高层次的抽象，减少重复实现的工作量。
• 实现对稀疏、迭代式机器学习算法的高性能并行执行，并保证数据一致性。
• 通过在真实数据集上高效实现关键机器学习算法，证明该框架的有效性。

提出的方法

• GraphLab引入了一种数据驱动的异步计算模型，计算由数据变化触发，从而高效处理稀疏依赖关系。
• 该框架采用基于顶点的编程模型，计算图中的每个节点维护本地状态，并根据接收到的消息更新其状态。
• 支持异步执行，并通过自动同步确保数据一致性，避免了手动加锁或协调的需要。
• 系统采用基于推送的消息传递机制，高效地在图中传播更新。
• GraphLab提供高层API，使机器学习专家能够简洁地表达复杂的迭代算法，同时隐藏底层并行性实现的复杂性。
• 该框架针对机器学习中常见的大规模稀疏数据结构进行了优化，最大限度减少了通信和内存开销。

实验结果

研究问题

• RQ1 能否设计一种高层级编程模型，使其在表达迭代式机器学习算法方面优于MapReduce？
• RQ2 在异步、分布式环境下，如何确保机器学习工作负载中的数据一致性？
• RQ3 该框架能否在真实世界机器学习问题上实现高性能并行执行，同时简化机器学习实践者的实现工作？
• RQ4 与现有框架相比，该框架在Lasso和信念传播等关键机器学习算法上能实现多大的性能提升？
• RQ5 该框架在机器学习中常见的大规模稀疏数据集上的可扩展性如何？

主要发现

• GraphLab使实现复杂的迭代式机器学习算法（如信念传播、Gibbs采样和Co-EM）的代码量显著少于低级框架。
• 该框架在大规模真实数据集上实现了高性能并行执行，展示了在多核和多台机器上的强可扩展性。
• 与基于MapReduce的实现相比，GraphLab在执行时间和资源利用率方面均表现出更优的性能，尤其适用于迭代算法。
• 该系统在处理机器学习工作负载中常见的稀疏计算依赖关系方面表现出高效率。
• 带有数据一致性保证的异步执行模型相比同步方案减少了空闲时间，提高了吞吐量。
• 实验结果表明，GraphLab实现的Lasso和压缩感知算法在大规模数据集上具有良好的可扩展性，并实现了具有竞争力的性能。