[論文レビュー] xDGP: A Dynamic Graph Processing System with Adaptive Partitioning

Luis M. Vaquero, Félix Cuadrado+2 more|arXiv (Cornell University)|Sep 4, 2013

Graph Theory and Algorithms参考文献 39被引用数 26

ひとこと要約

xDGP は、局所的なラベル伝播に基づく分散型で反復的な頂点移行ヒューリスティックを用いて、リアルタイムで大規模グラフを動的に再分割するグラフ処理システムである。データの複製なしに、パーティション間エッジの数を最小限に抑え、負荷バランスを維持することで、動的で現実世界のワークロードにおいて実行時間を 50% 以上短縮する。

ABSTRACT

Many real-world systems, such as social networks, rely on mining efficiently large graphs, with hundreds of millions of vertices and edges. This volume of information requires partitioning the graph across multiple nodes in a distributed system. This has a deep effect on performance, as traversing edges cut between partitions incurs a significant performance penalty due to the cost of communication. Thus, several systems in the literature have attempted to improve computational performance by enhancing graph partitioning, but they do not support another characteristic of real-world graphs: graphs are inherently dynamic, their topology evolves continuously, and subsequently the optimum partitioning also changes over time. In this work, we present the first system that dynamically repartitions massive graphs to adapt to structural changes. The system optimises graph partitioning to prevent performance degradation without using data replication. The system adopts an iterative vertex migration algorithm that relies on local information only, making complex coordination unnecessary. We show how the improvement in graph partitioning reduces execution time by over 50%, while adapting the partitioning to a large number of changes to the graph in three real-world scenarios.

研究の動機と目的

• 大規模な動的グラフにおける構造的変化が分散グラフ処理の性能を低下させることを是正すること。
• グローバルな調整やデータ複製を必要とせず、グラフのトポロジー変化に適応できるスケーラブルで分散型のパーティショニング機構を設計すること。
• 継続的なグラフ更新中に負荷バランスを維持し、通信オーバーヘッドを最小限に抑えること。
• ソーシャルネットワークや不正検出システムなどの動的グラフワークロードにおいて、リアルタイムでのパフォーマンス向上を可能にすること。

提案手法

• システムは、パーティショニング品質を向上させるために、局所的な情報のみに依存する分散型で反復的な頂点移行アルゴリズムを用いる。
• 頂点は、カットエッジの数を最小化することを目的としたラベル伝播ヒューリスティックに基づいてパーティション間で移行される。
• 移行は連続する処理イテレーションの間に発生し、計算中に一貫性が保たれる。
• 頂点IDは複雑なローカライゼーションメカニズムを用いて保持され、IDの衝突が生じないよう、シームレスな更新が可能になる。
• グラフの構造的変化（エッジの挿入や削除など）によって、パーティショニングの適応がトリガーされる。
• ヒューリスティックは軽量でスケーラブルに設計されており、グローバル集約や高コストの最適化ステップを回避する。

実験結果

リサーチクエスチョン

• RQ1 動的グラフにおける構造的変化は、時間経過とともに静的グラフパーティショニングの品質にどのように影響するか？
• RQ2 グローバル情報に依存せず、局所的情報に基づくヒューリスティックが、進化するグラフトポロジーに効果的に適応できるか？
• RQ3 動的再パーティショニングのパフォーマンスオーバーヘッドはどの程度で、改善されたパーティショニングによるパフォーマンス向上と比べてどうか？
• RQ4 実世界の動的グラフワークロードにおいて、適応的パーティショニングが実行時間をどの程度短縮できるか？

主な発見

• システムは、ソーシャルネットワークや通話記録データを含む3つの実世界の動的グラフワークロードで、実行時間を 50% 以上短縮した。
• 適応的パーティショニングは、急激な変化や継続的な変化があっても、グラフのダイナミクスによって引き起こされるパフォーマンス劣化を顕著に緩和した。
• 反復的頂点移行ヒューリスティックは、カットエッジを効果的に最小化するとともに、パーティション間での負荷バランスを維持した。
• グローバル計算や複製を回避することで、システムは高いスケーラビリティと低コストの協調処理を達成した。
• 頂点移行が、特に多数の頂点が移動する場合に、主なオーバーヘッド要因であると特定された。
• 連続的かつリアルタイム処理が求められる状況において、静的パーティショニング戦略や GPS や Sedge などの関連システムに比べ、本手法が優れたパフォーマンスを発揮した。