[论文解读] M-Flash: Fast Billion-scale Graph Computation Using Block Partition Model

Hugo Gualdron, Robson L. F. Cordeiro+4 more|arXiv (Cornell University)|Jun 3, 2015

Graph Theory and Algorithms参考文献 25被引用 4

一句话总结

M-Flash 是一种新颖的单机图计算框架，采用块分区模型，通过最小化磁盘 I/O 并最大化图数据和节点数据在内存中的重用，加速百亿规模图处理。在包含最多 66 亿条边的真实图上，其性能显著优于当前最先进的系统，实现了首个单机百亿规模特征值求解器。

ABSTRACT

Recent graph computation approaches such as GraphChi, X-Stream, TurboGraph and MMap demonstrated that a single PC can perform ecient computation on billion scale graphs. While they use dierent techniques to achieve scalability through opti- mizing I/O operations, such optimization often does not fully exploit the capabilities of modern hard drives. We contribute: (1) a novel and scalable graph computation framework called M-Flash that uses a block partition model to boost computation speed and reduce disk ac- cesses, by logically dividing a graph and its node data into blocks that can fully t in RAM for reuse; (2) a exible and deliberatively simple programming model, as part of M-Flash, that enables us to implement pop- ular and essential graph algorithms, including the rst single-machine billion-scale eigensolver; and (3) exten- sive experiments on real graphs with up to 6.6 billion edges, demonstrating M-Flash's consistent and signi- cant speed-up against state-of-the-art approaches.

研究动机与目标

• 解决现有单机图系统在大规模图工作负载下无法充分利用现代硬盘性能的局限性。
• 设计一种可扩展的框架，通过将图数据和节点数据组织为可重用的、适合内存的块，减少磁盘 I/O。
• 提供一种简单但灵活的编程模型，以高效地在大规模场景下实现关键图算法。
• 实现首个单机百亿规模图的特征值求解器，证明大规模谱计算在实际中的可行性。

提出的方法

• 采用块分区模型，将图及其相关节点数据在逻辑上划分为固定大小的块，以最大化内存中的数据重用并最小化磁盘访问。
• 优化数据布局以对齐块边界，确保计算过程中实现高效的 I/O 和缓存友好的访问模式。
• 集成一种编程模型，抽象底层数据管理，同时支持 PageRank 和 SVD 等常见图算法。
• 通过在多个计算迭代中重用内存中的块，优化数据访问，减少冗余的磁盘读取。
• 采用流式计算模型，按顺序处理块，保持高吞吐量和低延迟。
• 通过块级数据管理和缓存策略，支持增量更新和动态图处理。

实验结果

研究问题

• RQ1 块分区模型是否能显著减少磁盘 I/O 并提升单机百亿规模图处理的性能？
• RQ2 一种简单且灵活的编程模型在大规模场景下，能否有效支持如特征值求解器等复杂图算法？
• RQ3 M-Flash 在真实图上的性能与 GraphChi、X-Stream 和 TurboGraph 等当前最先进的系统相比如何？
• RQ4 M-Flash 是否能高效支持首个单机实现的百亿规模特征值求解器？

主要发现

• M-Flash 在包含最多 66 亿条边的真实图上，相对于当前最先进的系统实现了持续且显著的性能提升。
• 块分区模型通过在多个计算阶段高效重用内存中的图数据和节点数据，显著减少了磁盘 I/O。
• 该框架成功实现了首个单机百亿规模图的特征值求解器，证明了在单台 PC 上进行大规模谱分析的可行性。
• M-Flash 通过智能的块级数据组织方式，更有效地利用了现代硬盘特性，从而在性能上优于现有系统。
• 灵活的编程模型使得多样化的图算法能够被高效实现，且不牺牲性能或可扩展性。