[論文レビュー] M-Flash: Fast Billion-scale Graph Computation Using Block Partition Model

Hugo Gualdron, Robson L. F. Cordeiro+4 more|arXiv (Cornell University)|Jun 3, 2015

Graph Theory and Algorithms参考文献 25被引用数 4

ひとこと要約

M-Flash は、ディスク I/O を最小限に抑え、メモリ内でのグラフデータおよびノードデータの再利用を最大化することで、100億スケールのグラフ処理を高速化する、新しい単一マシングラフ計算フレームワークである。実際のグラフ（最大 66 億件のエッジを有する）において、最先端のシステムと比較して顕著な高速化を達成し、初めての単一マシン 100 億件スケールの固有値分解ソルバーを実現した。

ABSTRACT

Recent graph computation approaches such as GraphChi, X-Stream, TurboGraph and MMap demonstrated that a single PC can perform ecient computation on billion scale graphs. While they use dierent techniques to achieve scalability through opti- mizing I/O operations, such optimization often does not fully exploit the capabilities of modern hard drives. We contribute: (1) a novel and scalable graph computation framework called M-Flash that uses a block partition model to boost computation speed and reduce disk ac- cesses, by logically dividing a graph and its node data into blocks that can fully t in RAM for reuse; (2) a exible and deliberatively simple programming model, as part of M-Flash, that enables us to implement pop- ular and essential graph algorithms, including the rst single-machine billion-scale eigensolver; and (3) exten- sive experiments on real graphs with up to 6.6 billion edges, demonstrating M-Flash's consistent and signi- cant speed-up against state-of-the-art approaches.

研究の動機と目的

• 大規模グラフワークロードにおける現代のハードディスクの能力を十分に活用できない既存の単一マシングラフシステムの限界を解消すること。
• メモリに収まるサイズの再利用可能なブロックにグラフおよびノードデータを組織することで、ディスク I/O を低減するスケーラブルなフレームワークを設計すること。
• 基本的なグラフアルゴリズムを大規模に効率的に実装できる、シンプルでありながら柔軟なプログラミングモデルを提供すること。
• 100 億件スケールのグラフに対する初めての単一マシン固有値分解ソルバーを実現することにより、大規模スペクトル計算の実用的妥当性を示すこと。

提案手法

• 固定サイズのブロックにグラフおよび関連ノードデータを論理的に分割するブロックパーティショニングモデルを採用し、メモリ内再利用を最大化し、ディスクアクセスを最小限に抑える。
• ブロック境界に合わせたデータレイアウトを設計することで、計算中に I/O やキャッシュフレンドリーなアクセスパターンを効率的に実現する。
• 低レベルのデータ管理を抽象化しつつ、PageRank や SVD などの一般的なグラフアルゴリズムをサポートするプログラミングモデルを統合する。
• 複数の計算イテレーションにわたり、メモリ内のブロックを再利用することで、不要なディスク読み込みを削減するデータアクセス最適化を実施する。
• ブロックを順次処理するストリーミング計算モデルを採用し、高いスループットと低遅延を維持する。
• ブロックレベルのデータ管理およびキャッシング戦略を活用して、インクリメンタルな更新および動的グラフ処理をサポートする。

実験結果

リサーチクエスチョン

• RQ1 ブロックパーティショニングモデルは、単一マシン上での 100 億件スケールのグラフ処理において、ディスク I/O を顕著に低減し、性能を向上させることができるか？
• RQ2 シンプルで柔軟なプログラミングモデルは、大規模なグラフアルゴリズム（例：固有値分解）を効率的に実装できるか、その範囲はどの程度か？
• RQ3 M-Flash は、実世界のグラフにおいて、GraphChi や X-Stream、TurboGraph などの最先端システムと比較して、どの程度の性能を示すか？
• RQ4 M-Flash は、100 億件スケールの固有値分解ソルバーの最初の単一マシン実装を効率的にサポートできるか？

主な発見

• M-Flash は、最大 66 億件のエッジを有する実際のグラフにおいて、最先端のシステムと比較して一貫した顕著な高速化を達成した。
• ブロックパーティショニングモデルにより、複数の計算フェーズにわたりグラフおよびノードデータのメモリ内再利用が可能になり、ディスク I/O が削減された。
• フレームワークは、単一マシン上で 100 億件スケールの固有値分解ソルバーを成功裏に実装し、単一の PC で大規模スペクトル解析が実現可能であることを示した。
• M-Flash は、知的なブロックレベルのデータ構成により、現代のハードディスクの特性をより効果的に活用することで、既存のシステムを上回る性能を発揮した。
• 柔軟なプログラミングモデルにより、パフォーマンスやスケーラビリティを損なわず、多様なグラフアルゴリズムの効率的実装が可能となった。