[論文レビュー] S-PowerGraph: Streaming Graph Partitioning for Natural Graphs by Vertex-Cut

Cong Xie, Wu-Jun Li+1 more|arXiv (Cornell University)|Nov 9, 2015

Caching and Content Delivery参考文献 14被引用数 10

ひとこと要約

本稿では、自然なグラフのための新しいストリーミンググラフ分割手法S-PowerGraphを提案する。頂点カットを用い、べき乗則に従う次数分布を活用することで、パーティション間通信を最小限に抑える。Twitter-2010のような極めて偏ったグラフにおいて、レプリケーション要因の低減で最先端のベースラインを最大30%上回り、ストリーミング環境におけるスケーラビリティと効率性に優れている。

ABSTRACT

One standard solution for analyzing large natural graphs is to adopt distributed computation on clusters. In distributed computation, graph partitioning (GP) methods assign the vertices or edges of a graph to different machines in a balanced way so that some distributed algorithms can be adapted for. Most of traditional GP methods are offline, which means that the whole graph has been observed before partitioning. However, the offline methods often incur high computation cost. Hence, streaming graph partitioning (SGP) methods, which can partition graphs in an online way, have recently attracted great attention in distributed computation. There exist two typical GP strategies: edge-cut and vertex-cut. Most SGP methods adopt edge-cut, but few vertex-cut methods have been proposed for SGP. However, the vertex-cut strategy would be a better choice than the edge-cut strategy because the degree of a natural graph in general follows a highly skewed power-law distribution. Thus, we propose a novel method, called S-PowerGraph, for SGP of natural graphs by vertex-cut. Our S-PowerGraph method is simple but effective. Experiments on several large natural graphs and synthetic graphs show that our S-PowerGraph can outperform the state-of-the-art baselines.

研究の動機と目的

• 大規模グラフ処理におけるオフライングラフ分割の高コストを解消すること。
• 偏ったグラフにおいて理論的利点を持つものの、まだ十分に検討が進んでいない頂点カット戦略を、ストリーミンググラフ分割において探求すること。
• 負荷バランスを維持しながら、頂点のレプリケーションとパーティション間エッジ数を最小限に抑える効率的なオンライン分割手法を設計すること。
• 既存の頂点カット手法（例：PowerGraph）をストリーミングワークロードに適応させ、スケーラビリティと性能を向上させること。

提案手法

• S-PowerGraphは頂点カット戦略を採用し、頂点とその接続エッジを1つのパーティションに割り当てることで、マシン間通信を削減する。
• 度数に基づくヒューリスティクス（特にDegreeおよびDegreeIO）を用い、ストリーミング形式で頂点の分布を推定し、パーティションへの割り当てを導く。
• DegreeIOはDegreeの改良版であり、インゴーイング次数とアウトゴーイング次数の両方の分布を組み込むことで、非対称なグラフにおける推定精度を向上させる。
• 推定された次数分布に基づいて動的に頂点をパーティションに割り当てることで、頂点のレプリケーションを最小限に抑え、エッジの分布をバランスさせる。
• ウェブクローリングやディスクベースのグラフロードといった実世界のストリーミングワークロードと互換性を持つように設計されている。
• パーティションサイズの追跡と割り当ての調整により、ホットスポットを避けることで負荷バランスを維持している。

実験結果

リサーチクエスチョン

• RQ1 べき乗則に従う次数分布を示す自然なグラフにおいて、頂点カット戦略はエッジカットを上回る性能を示せるか？
• RQ2 度数に基づくヒューリスティクスは、ストリーミング頂点カット分割における頂点分布推定にどの程度有効か？
• RQ3 インゴーイング次数の推定と、インゴーイングおよびアウトゴーイング次数の両方を組み合わせた推定の違いが、分割品質に与える影響は何か？
• RQ4 S-PowerGraphは、パーティション数の増加やグラフの偏りの変化に伴い、どのようにスケーリングするか？
• RQ5 PowerGraphのような既存の頂点カット手法を、負荷バランスや通信効率を損なわずにストリーミング環境に効果的に拡張できるか？

主な発見

• Twitter-2010において、S-PowerGraphはPowerGraphに比べてレプリケーション要因を最大30%低減し、極めて偏ったグラフにおいて顕著な改善を示した。
• アラビア語-2005のような非対称なグラフにおいて、DegreeIOはDegreeを上回り、両方の次数を活用した推定により、ほぼ35%の改善を達成した。
• 高いべき乗則の偏りを示す合成グラフにおいて、S-PowerGraphはPowerGraphに比べてより顕著な改善を示し、グラフの偏りに依存する性能向上が確認された。
• すべての実世界グラフにおいて不均衡要因が1.05未満に保たれ、強力な負荷バランスを維持していることが示された。
• パーティション数の増加に伴い、S-PowerGraphは良好なスケーリングを示し、パーティション数の増加に伴い一貫した性能向上が得られた。
• ランダム、BFS、DFSの異なるストリーム順序に対しても、S-PowerGraphは一貫した改善を示し、入力シーケンスに依存しない強靭性を示した。