[论文解读] GraphLab: A Distributed Framework for Machine Learning in the Cloud

Yucheng Low, Joseph E. Gonzalez+3 more|arXiv (Cornell University)|Jul 5, 2011

Graph Theory and Algorithms参考文献 41被引用 21

一句话总结

GraphLab 引入了一种用于机器学习的领域特定并行抽象，能够高效表达稀疏依赖、迭代计算和异步更新，同时确保顺序一致性。在64个节点的EC2集群上进行评估，GraphLab相较于Hadoop实现了20–60倍的加速，并匹配了手工调优的MPI实现，从而在云基础设施上实现了可扩展、正确且高性能的机器学习。

ABSTRACT

Machine Learning (ML) techniques are indispensable in a wide range of fields. Unfortunately, the exponential increase of dataset sizes are rapidly extending the runtime of sequential algorithms and threatening to slow future progress in ML. With the promise of affordable large-scale parallel computing, Cloud systems offer a viable platform to resolve the computational challenges in ML. However, designing and implementing efficient, provably correct distributed ML algorithms is often prohibitively challenging. To enable ML researchers to easily and efficiently use parallel systems, we introduced the GraphLab abstraction which is designed to represent the computational patterns in ML algorithms while permitting efficient parallel and distributed implementations. In this paper we provide a formal description of the GraphLab parallel abstraction and present an efficient distributed implementation. We conduct a comprehensive evaluation of GraphLab on three state-of-the-art ML algorithms using real large-scale data and a 64 node EC2 cluster of 512 processors. We find that GraphLab achieves orders of magnitude performance gains over Hadoop while performing comparably or superior to hand-tuned MPI implementations.

研究动机与目标

• 为解决现有并行抽象（如MapReduce和Dryad）在表达机器学习算法中常见的稀疏依赖时的低效问题。
• 通过抽象低级并发问题（如竞争条件和消息传递），降低实现分布式机器学习的复杂度。
• 通过高层抽象实现在云集群上高效、可证明正确且可扩展地执行迭代式机器学习算法。
• 在简化机器学习研究人员实现的同时，实现与手工优化的MPI代码相当的性能。

提出的方法

• GraphLab 抽象将机器学习算法建模为顶点和边构成的图，其中顶点表示计算单元，边表示数据依赖关系。
• 该系统支持异步、迭代计算，并通过同步操作在执行过程中全局聚合信息。
• 实现了两种分布式引擎：基于图着色的静态调度的Chromatic Engine，以及基于分布式锁和延迟隐藏的动态优先执行的Locking Engine。
• 通过仔细协调，该抽象确保了顺序一致性，从而在迭代式机器学习算法中保持统计正确性。
• 实现使用了针对大规模集群进行性能优化的C++ API，支持高效的内存访问和通信。
• 该框架支持动态图结构，并与Amazon EC2等云环境集成，实现弹性扩展。

实验结果

研究问题

• RQ1 高层并行抽象能否高效表达多样化机器学习算法的计算模式，特别是具有稀疏依赖和迭代更新的算法？
• RQ2 在异步、分布式环境中，如何在不牺牲性能的前提下维持顺序一致性？
• RQ3 领域特定抽象在机器学习工作负载中，与通用框架（如Hadoop）相比，能实现多大程度的性能优势？
• RQ4 该抽象能否在保持对机器学习研究人员友好性的同时，实现与手工优化的MPI实现相当的性能？

主要发现

• 在使用64个节点EC2集群（共512个处理器）的真实机器学习工作负载上，GraphLab 相较于Hadoop实现了20–60倍的加速。
• 该系统性能与精心调优的MPI实现相当，证明高层抽象无需牺牲效率。
• 在CoSeg实验中，处理器数量从8个扩展到64个时，运行时间仅增加11%，表明具有出色的可扩展性。
• 性能对分区质量高度敏感；在分区质量较差的情况下，增加最大待处理锁数量可显著提升性能。
• 在Amazon EC2上，GraphLab 在细粒度计费模式下相比Hadoop展现出更优的性价比和价格-准确率比。
• 同步操作支持在异步迭代过程中高效进行全局聚合，有助于迭代式机器学习算法的收敛。