[論文レビュー] FlashGraph: processing billion-node graphs on an array of commodity SSDs

Da Zheng, Disa Mhembere+4 more|arXiv (Cornell University)|Feb 16, 2015

Graph Theory and Algorithms参考文献 31被引用数 185

ひとこと要約

FlashGraph は、メモリに頂点状態を格納し、SSD にエッジリストを格納することで、コンmodity SSD 上で数十億ノードのグラフを効率的に処理できる。ユーザー空間の SSD ファイルシステムを用いることで、高い IOPS と並列 I/O を実現し、I/O オーバーヘッドを最小限に抑えることで、80% のメモリ内処理性能を達成し、PowerGraph よりも優れた性能を発揮する。

ABSTRACT

Graph analysis performs many random reads and writes, thus, these workloads are typically performed in memory. Traditionally, analyzing large graphs requires a cluster of machines so the aggregate memory exceeds the graph size. We demonstrate that a multicore server can process graphs with billions of vertices and hundreds of billions of edges, utilizing commodity SSDs with minimal performance loss. We do so by implementing a graph-processing engine on top of a user-space SSD file system designed for high IOPS and extreme parallelism. Our semi-external memory graph engine called FlashGraph stores vertex state in memory and edge lists on SSDs. It hides latency by overlapping computation with I/O. To save I/O bandwidth, FlashGraph only accesses edge lists requested by applications from SSDs; to increase I/O throughput and reduce CPU overhead for I/O, it conservatively merges I/O requests. These designs maximize performance for applications with different I/O characteristics. FlashGraph exposes a general and flexible vertex-centric programming interface that can express a wide variety of graph algorithms and their optimizations. We demonstrate that FlashGraph in semi-external memory performs many algorithms with performance up to 80% of its in-memory implementation and significantly outperforms PowerGraph, a popular distributed in-memory graph engine.

研究の動機と目的

• 数十億ノードのグラフ処理におけるメモリ内処理のスケーラビリティボトルネックを解決する。
• クラスタではなく単一のマルチコアサーバー上で大規模なグラフ解析を可能にする。
• 高価なメインメモリへの依存を減らし、コンmodity SSD を効果的に活用する。
• 多様なグラフワークロードにおいて、I/O オーバーヘッドと CPU コストを最小限に抑えつつ、高いスループットを維持する。
• さまざまなグラフアルゴリズムを表現可能な柔軟な、頂点中心のプログラミングインターフェースを設計する。

提案手法

• 高い IOPS と極めて高い並列処理を実現するように最適化された、ユーザー空間の SSD ファイルシステムを実装し、低遅延 I/O 操作をサポートする。
• 頂点状態をメインメモリに、エッジリストを SSD に格納することで、半外部メモリ処理を実現する。
• 計算と I/O を重ねることで遅延を隠し、全体のスループットを向上させる。
• 必要なエッジリストのみに SSD アクセスを制限することで、I/O バンド幅の使用量を削減する。
• I/O リクエストを慎重にマージすることで、スループットを向上させるとともに CPU オーバーヘッドを最小限に抑える。
• 多様なグラフアルゴリズムと最適化を表現可能な汎用的な頂点中心のプログラミングインターフェースを公開する。

実験結果

リサーチクエスチョン

• RQ1 コンmodity SSD を搭載した単一サーバーで、メモリ内ストレージを必要とせずに数十億ノードのグラフを効率的に処理できるか？
• RQ2 計算と I/O を重ねることで、グラフ処理における I/O 遅延をどの程度効果的に隠せるか？
• RQ3 必要なエッジリストのみにアクセスすることで、I/O バンド幅をどの程度削減できるか？
• RQ4 I/O リクエストを慎重にマージすることで、グラフワークロードにおけるスループットと CPU オーバーヘッドにどのような影響を与えるか？
• RQ5 FlashGraph のパフォーマンスは、メモリ内システムや PowerGraph といった既存の分散エンジンと比較してどの程度か？

主な発見

• FlashGraph は、さまざまなグラフアルゴリズムにおいて、メモリ内同等の性能の最大 80% を達成する。
• FlashGraph は、同様のワークロードにおいて、先端的な分散メモリ内グラフエンジンである PowerGraph よりも顕著に優れた性能を発揮する。
• 計算と I/O を重ねることで、I/O 遅延を効果的に隠している。
• 必要なエッジリストのみにアクセスすることで、不要な I/O バンド幅消費を削減している。
• I/O リクエストを慎重にマージすることで、I/O スループットを向上させるとともに CPU オーバーヘッドを最小限に抑えている。
• 半外部メモリ設計により、1 台のサーバー上で数十億の頂点と数百億のエッジを持つグラフの処理が可能である。