[論文レビュー] Social Hash Partitioner: A Scalable Distributed Hypergraph Partitioner

Igor Kabiljo, Brian Karrer+5 more|arXiv (Cornell University)|Jul 20, 2017

VLSI and FPGA Design Techniques参考文献 10被引用数 7

ひとこと要約

この論文では、確率的ファンアウトを最小化するための局所探索ヒューリスティクスを用いたスケーラブルな分散ハイパーグラフ分割器であるSocial Hash Partitioner (SHP)を紹介する。SHPは、数十億の頂点とハイパーエッジを有するハイパーグラフを効率的に処理でき、トップクラスの単一マシンおよび分散分割器と同等の解の品質を達成する。同じハードウェア上でも、既存の分散分割器の100倍規模のハイパーグラフを処理可能である。

ABSTRACT

We design and implement a distributed algorithm for balanced $k$-way hypergraph partitioning that minimizes fanout, a fundamental hypergraph quantity also known as the communication volume and ($k-1$)-cut metric, by optimizing a novel objective called probabilistic fanout. This choice allows a simple local search heuristic to achieve comparable solution quality to the best existing hypergraph partitioners. Our algorithm is arbitrarily scalable due to a careful design that controls computational complexity, space complexity, and communication. In practice, we commonly process hypergraphs with billions of vertices and hyperedges in a few hours. We explain how the algorithm's scalability, both in terms of hypergraph size and bucket count, is limited only by the number of machines available. We perform an extensive comparison to existing distributed hypergraph partitioners and find that our approach is able to optimize hypergraphs roughly $100$ times bigger on the same set of machines. We call the resulting tool Social Hash Partitioner (SHP), and accompanying this paper, we open-source the most scalable version based on recursive bisection.

研究の動機と目的

• 大規模分散システムにおけるスケーラブルなハイパーグラフ分割のニーズに応えること、特にデータベースにおけるストレージシャーディングを対象とする。
• Facebookソーシャルグラフのような大規模な実世界のグラフを処理する際、既存のハイパーグラフ分割器のスケーラビリティの限界を克服すること。
• 分散データ配置におけるクエリパフォーマンスの主要指標としてのファンアウト（通信量）を最小化すること。
• バケツ間の負荷バランスを維持しながら、バケツ間のハイパーエッジスパンを最小化する分散アルゴリズムを設計すること。
• インクリメンタルアップデートと多次元負荷バランスヒューリスティクスを用いて、実運用環境への実装を可能にすること。

提案手法

• 局所探索最適化を効果的に行うための、新たな目的関数である確率的ファンアウト（p-fanout）を提案し、分割プロセスをガイドする。
• Apache Giraphフレームワークを基盤とする再帰的バイセクションに基づく分散アルゴリズムを実装し、空間、計算、通信の複雑性を慎重に制御する。
• 頂点をバケツ間で移動させることで、利益計算に基づいて分割品質を段階的に向上させる局所探索ヒューリスティクスを用いる。
• マスターワーカーアーキテクチャを導入し、マスターが移動を調整して負荷をバランスさせ、ワーカーが割り当てられた頂点部分集合に対して局所計算を実行する。
• 過去の分割から初期化することでインクリメンタルアップデートをサポートし、再割り当てを抑制するように移動利益を調整する。
• c·k個の一時的バケツ（c > 1）を生成し、緩いバランス制約を設けた後、それらをk個の最終的バケツに統合することで、すべてのリソース制約を満たす多次元負荷バランスヒューリスティクスを適用する。

実験結果

リサーチクエスチョン

• RQ1 新規の目的関数を用いて最適化された場合、単純な局所探索ヒューリスティクスが、最先端のハイパーグラフ分割器と同等の解の品質を達成できるか？
• RQ2 提案された確率的ファンアウト目的関数が、スケーラブルで効率的な分散ハイパーグラフ分割をどの程度可能にするか？
• RQ3 ハイパーグラフのサイズとバケツ数の増加に伴い、アルゴリズムのパフォーマンスはどの程度スケーリングするか？
• RQ4 実世界のワークロード（数十億の頂点とハイパーエッジを有する）を処理しながら、負荷バランスと低ファンアウトを維持できるか？
• RQ5 大規模ハイパーグラフ上で、既存の単一マシンおよび分散分割器と比較して、アルゴリズムの解の品質はどの程度か？

主な発見

• SHPは、ファンアウト最小化という観点で、Zoltan や Mondriaan を含む、最高水準の既存の単一マシンおよび分散ハイパーグラフ分割器と同等の解の品質を達成する。
• 同じマシンセット上で、SHPは既存の分散分割器が処理できるハイパーグラフの約100倍の規模を最適化可能である。
• アルゴリズムは、通常、数10億の頂点と数億〜数十億のハイパーエッジを有するハイパーグラフを数時間で処理する。
• 空間的・計算的・通信的複雑性を慎重に制御しているため、アルゴリズムのスケーラビリティは利用可能なマシン数にのみ制限される。
• SHPが最良の解を生成することもあったが、Zoltan や Mondriaan は頻繁により低いファンアウトを達成しており、目的関数設計のさらなる改善の余地があることを示している。
• p-fanoutを目的関数として用いることで、効果的な局所探索が可能となり、大規模分散システムにおいても高い解の品質を維持できることが示され、その適性が裏付けられた。