[論文レビュー] Effective Techniques for Message Reduction and Load Balancing in Distributed Graph Computation

Da Yan, James Cheng+2 more|arXiv (Cornell University)|Mar 2, 2015

Graph Theory and Algorithms参考文献 23被引用数 13

ひとこと要約

本論文は、分散グラフ計算における通信オーバーヘッドを低減し、ワークロードのバランスを取るために、頂点ミラーリングとメッセージ結合、およびリクエスト・リスポンスAPIの2つの技術を提案する。高次数の頂点が送信するメッセージを最小限に抑え、非隣接頂点間の通信を効率化することで、実世界のグラフにおいて総メッセージ数と実行時間を顕著に削減する。

ABSTRACT

Massive graphs, such as online social networks and communication networks, have become common today. To efficiently analyze such large graphs, many distributed graph computing systems have been developed. These systems employ the "think like a vertex" programming paradigm, where a program proceeds in iterations and at each iteration, vertices exchange messages with each other. However, using Pregel's simple message passing mechanism, some vertices may send/receive significantly more messages than others due to either the high degree of these vertices or the logic of the algorithm used. This forms the communication bottleneck and leads to imbalanced workload among machines in the cluster. In this paper, we propose two effective message reduction techniques: (1)vertex mirroring with message combining, and (2)an additional request-respond API. These techniques not only reduce the total number of messages exchanged through the network, but also bound the number of messages sent/received by any single vertex. We theoretically analyze the effectiveness of our techniques, and implement them on top of our open-source Pregel implementation called Pregel+. Our experiments on various large real graphs demonstrate that our message reduction techniques significantly improve the performance of distributed graph computation.

研究の動機と目的

• 高次数の頂点とアルゴリズム的論理によって引き起こされる分散グラフ処理における通信ボトルネックを解消すること。
• クラスタ内のマシン間で偏ったワークロード分配を解消し、総メッセージ量を低減すること。
• ユーザープログラムの変更を要せず、Pregelスタイルのグラフシステムの性能を向上させること。
• 新しいプログラミング抽象化を通じて、頂点中心のグラフアルゴリズムにおける非局所的通信を効率的に行えるようにすること。
• 実世界のグラフワークロードにおいて、メッセージ削減と負荷分散の組み合わせの有効性を実証すること。

提案手法

• 頂点ミラーリングを導入：各頂点が高次数の隣接頂点のミラーバージョンを維持することで、直接のメッセージ送信を削減する。
• メッセージ結合の適用：同じターゲット頂点へのメッセージを送信前に集約し、総メッセージ数を削減する。
• リクエスト・リスポンスAPIの設計：頂点が任意の頂点（隣接頂点に限らない）にリクエストを送信でき、ターゲットが直接応答する仕組みを提供する。
• Pregel+（Pregel互換のオープンソースシステム）に両技術を実装し、エンドツーエンドのパフォーマンスを評価する。
• ミラーリングで高次数頂点からの負荷を軽減し、リクエスト・リスポンスで非局所通信を効率化するハイブリッドアプローチを採用する。
• 理論的分析により、ミラーリングが頂点あたりのメッセージ数を上限に抑えられ、リクエスト・リスポンスが不要なメッセージ伝搬を回避できることを示す。

実験結果

リサーチクエスチョン

• RQ1 分散グラフ処理において高次数の頂点が引き起こす通信ボトルネックをどのように軽減できるか？
• RQ2 メッセージ結合と頂点ミラーリングは、総メッセージ量の低減と負荷分散の向上にどの程度寄与するか？
• RQ3 新しいリクエスト・リスポンスプログラミングモデルは、Pregelスタイルのシステムにおける複雑なメッセージ伝達パターンを効果的に置き換えることができるか？
• RQ4 Giraph、GraphLab、GPSといった既存システムと比較して、提案手法のパフォーマンスはどの程度か？
• RQ5 提案手法におけるメッセージ削減と計算オーバーヘッドのトレードオフはどのようなものか？

主な発見

• 頂点ミラーリングとメッセージ結合の統合により、WebUK や BTC といった実世界のグラフでメッセージ数が最大75％まで削減された。
• WebUKグラフにおいて、属性ブロードキャストのメッセージ数は、リクエスト・リスポンス手法を用いることで110億1500万から26億9900万にまで削減された。
• 両技術を組み合わせたPregel+は、Giraph や GraphLab を上回り、メッセージ交換数が多くてもGPSと同等またはそれを上回るパフォーマンスを達成した。
• 低次数のグラフ（例：USA）では、リクエスト・リスポンス手法のオーバーヘッドがメッセージ削減の恩恵を上回り、効果が薄れた。
• GPSのような高度に最適化されたシステムでさえも、ミラーリングとメッセージ結合による性能向上は顕著であり、提案手法の価値を示している。
• ミラーリングの事前処理コストは、全体の計算時間に比べて短く、実運用用途において実用的であることがわかった。