[論文レビュー] Vertex-Centric Graph Processing: Good, Bad, and the Ugly

Arijit Khan|arXiv (Cornell University)|Dec 22, 2016

Graph Theory and Algorithms参考文献 20被引用数 5

ひとこと要約

この論文は、Pregel や Giraph などの頂点中心グラフ処理フレームワークを、計算オーバーヘッドとワークロードの不均衡の観点から評価する。ほとんどの頂点中心実装が、最良の逐次的同等物よりも余分な作業を実行しており、反復回数が多くなりすぎたり、負荷の不均衡が生じたりするが、Euler 巡回木アルゴリズムを除いては、このモデルにおける特定のグラフアルゴリズムを効率的に表現する上で根本的な制限があることを明らかにする。

ABSTRACT

We study distributed graph algorithms that adopt an iterative vertex-centric framework for graph processing, popularized by the Google's Pregel system. Since then, there are several attempts to implement many graph algorithms in a vertex-centric framework, as well as efforts to design optimization techniques for improving the efficiency. However, to the best of our knowledge, there has not been any systematic study to compare these vertex-centric implementations with their sequential counterparts. Our paper addresses this gap in two ways. (1) We analyze the computational complexity of such implementations with the notion of time-processor product, and benchmark several vertex-centric graph algorithms whether they perform more work with respect to their best-known sequential solutions. (2) Employing the concept of balanced practical Pregel algorithms, we study if these implementations suffer from imbalanced workload and large number of iterations. Our findings illustrate that with the exception of Euler tour tree algorithm, all other algorithms either perform more work than their best-known sequential approach, or suffer from imbalanced workload/ large number of iterations, or even both. We also emphasize on graph algorithms that are fundamentally difficult to be expressed in vertex-centric frameworks, and conclude by discussing the road ahead for distributed graph processing.

研究の動機と目的

• 頂点中心グラフ実装とその最良の逐次的同等物との間で、計算的作業の観点から体系的に比較すること。
• 頂点中心アルゴリズムが反復回数が多くなりすぎたり、負荷の不均衡を起こしているかどうかを、Balanced Practical Pregel Algorithms (BPPA) メトリクスを用いて分析すること。
• 頂点中心フレームワークで効率的に表現することが根本的に難しいグラフアルゴリズムを特定すること。
• 分散グラフアルゴリズムの複雑度測定として、時間-プロセッサ積を評価すること。
• 今後の研究を導くために、分散グラフ処理における主な課題と未解決問題を特定すること。

提案手法

• 論文は、時間-プロセッサ積のメトリクスを用いて、頂点中心実装の総計算作業量を逐次的ソリューションと相対的に定量化する。
• Balanced Practical Pregel Algorithms (BPPA) フレームワークを適用し、実装が高反復回数や負荷の不均衡を抱えているかどうかを評価する。
• 著者は、PageRank や連結成分、グラフシミュレーションなどを含む、広く使われている20個のグラフアルゴリズムを、複数の頂点中心システムでベンチマークする。
• 各アルゴリズムについて、メッセージの複雑度、1スーパーステップあたりの計算量、およびスーパーステップの数を分析し、時間-プロセッサ積を算出する。
• 得られた時間-プロセッサ積を、各問題の最良の逐次的アルゴリズムの既知の時間複雑度と比較する。
• 特に部分グラフ中心的または複数ホップの近傍計算を必要とするタスクにおいて、頂点中心モデルに構造的制限があることを同定する。

実験結果

リサーチクエスチョン

• RQ1 頂点中心実装は、その最良の逐次的同等物よりも計算作業を多く行っているか？
• RQ2 頂点中心実装は、どれほど反復回数が多くなったり、負荷の不均衡が生じたりしているか？
• RQ3 どのグラフアルゴリズムが、頂点中心モデルで効率的に表現することが根本的に難しいか？
• RQ4 頂点中心実装の時間-プロセッサ積は、最適な逐次的複雑度と比べてどうか？
• RQ5 分散グラフ処理における頂点中心モデルの主な制限は何か？

主な発見

• Euler 巡回木アルゴリズムを除き、分析されたすべての頂点中心実装が、時間-プロセッサ積で測定したところ、最良の逐次的同等物よりも余分な作業を実行している。
• グラフシミュレーションアルゴリズムの時間-プロセッサ積は O(m²(nq + mq)) であり、同じ問題に対する最良の逐次的アルゴリズムの複雑度を上回っている。
• 多くの頂点中心実装が、反復回数が多く、スーパーステップ数が O(m) で上界を示しており、これは O(log n) よりも漸近的に大きいものであり、BPPA 基準に反する。
• グラフシミュレーションの1スーパーステップあたりのメッセージ複雑度は O(mnq) であり、マッチセットの繰り返し伝搬による高い通信オーバーヘッドを示している。
• 論文は、局所的クラスタリング、三角形数え上げ、コミュニティ検出といった部分グラフ中心タスクが、高いメモリと通信コストのため、うまくサポートされていないと同定している。
• 研究は、頂点中心モデルが、グローバルな調整やエッジストリーム処理を必要とするアルゴリズム（例：分散 Union-Find）には不適切であると結論づけ、代替プログラミングモデルの必要性を強調している。