[論文レビュー] Distributed Edge Partitioning for Graph Processing

Alessio Guerrieri, Alberto Montresor|arXiv (Cornell University)|Mar 25, 2014

Graph Theory and Algorithms参考文献 15被引用数 21

ひとこと要約

本論文は、グラフ計算を頂点ではなくエッジに割り当てることで、より効率的な並列処理を可能にする、新規の分散エッジパーティショニングフレームワークである etsch を提案する。また、スケーラブルなヒューリスティックアルゴリズムである dfep を導入し、分散ノード間でエッジをパーティショニングすることで、バランスの取れたパーティションを実現し、Hadoop やクラウド環境におけるグラフ分析ワークロードで顕著な性能向上を達成する。

ABSTRACT

The availability of larger and larger graph datasets, growing exponentially over the years, has created several new algorithmic challenges to be addressed. Sequential approaches have become unfeasible, while interest on parallel and distributed algorithms has greatly increased. Appropriately partitioning the graph as a preprocessing step can improve the degree of parallelism of its analysis. A number of heuristic algorithms have been developed to solve this problem, but many of them subdivide the graph on its vertex set, thus obtaining a vertex-partitioned graph. Aim of this paper is to explore a completely different approach based on edge partitioning, in which edges, rather than vertices, are partitioned into disjoint subsets. Contribution of this paper is twofold: first, we introduce a graph processing framework based on edge partitioning, that is flexible enough to be applied to several different graph problems. Second, we show the feasibility of these ideas by presenting a distributed edge partitioning algorithm called d-fep. Our framework is thoroughly evaluated, using both simulations and an Hadoop implementation running on the Amazon EC2 cloud. The experiments show that d-fep is efficient, scalable and obtains consistently good partitions. The resulting edge-partitioned graph can be exploited to obtain more efficient implementations of graph analysis algorithms.

研究の動機と目的

• 大規模グラフ処理における頂点ベースのパーティショニングの限界を解消するため、エッジパーティショニングを代替手段として検討すること。
• 計算を頂点ではなくエッジに関連付けることで、柔軟な分散グラフ処理フレームワーク etsch を設計すること。
• 負荷のバランスを保ちつつ通信オーバーヘッドを最小限に抑える、新規のヒューリスティックアルゴリズムである dfep を開発・評価すること。
• Amazon EC2 上でのシミュレーションおよび実際の Hadoop デプロイメントを通じて、エッジパーティショニングの実現可能性と効率性を実証すること。

提案手法

• フレームワーク etsch は、計算をエッジを中心に構成し、各エッジが状態を保持し、独立して分散処理に参加できるようにする。
• dfep は、Kernighan-Lin 法およびシミュレーテッドアニーリングにインspired されたヒューリスティックアプローチを用い、負荷のバランスを保ちつつスケーラブルな分散エッジパーティショニングを実現する。
• アルゴリズムは反復的なローカルな最適化を通じてエッジをパーティションに割り当て、エッジカットを最小限に抑えつつパーティションサイズのバランスを維持する。
• 理論的還元としてのライングラフ変換が検討されたが、サイズの著しい増加のため却下された。
• システムは Hadoop 上に実装され、合成的および実際のグラフワークロードを用いて Amazon EC2 で評価された。
• 通信オーバーヘッドは、パーティション間エッジの削減によって最小限に抑えられ、スケーラビリティとパフォーマンスが向上した。

実験結果

リサーチクエスチョン

• RQ1 分散グラフ処理フレームワークにおいて、エッジパーティショニングは従来の頂点パーティショニングを上回る性能を示せるか？
• RQ2 負荷のバランスと通信コストの最小化を確保するため、分散エッジパーティショニングアルゴリズムをどのように設計できるか？
• RQ3 エッジパーティショニングは、SSSP のようなグラフ分析アルゴリズムのパフォーマンスにどの程度向上効果をもたらすか？
• RQ4 提案された etsch フレームワークは、基本的な問題を超える多様なグラフ問題をサポートするのに十分な柔軟性を備えているか？
• RQ5 dfep は Amazon EC2 などの実際の分散環境でどの程度スケーリングするか？

主な発見

• dfep は、多様なグラフタイプにわたり、低エッジカットとバランスの取れたパーティションサイズを安定して達成する。
• Hadoop 上に実装された etsch は、単一始点最短経路（SSSP）ワークロードにおいて、標準のベースラインアルゴリズムを上回る性能を示し、効率性の向上を実証した。
• dfep は Amazon EC2 でも良好にスケーリングし、クラスタサイズおよびグラフ規模の増加に伴い顕著なスルーブプを示した。
• エッジパーティショニングされたグラフモデルは、通信オーバーヘッドを低減させ、頂点パーティショニングモデルと比較してより効率的な並列実行を可能にする。
• etsch フレームワークは、多様なグラフ問題に実用的であることが示され、さらなる最適化や広範な適用可能性の可能性を秘めている。
• 実験結果から、エッジパーティショニングは分散グラフ処理における頂点パーティショニングの代替手段として、実現可能で効果的であることが確認された。