[論文レビュー] Elastic Resource Allocation for Distributed Graph Processing Platforms

Ravikant Dindokar, Yogesh Simmhan|arXiv (Cornell University)|Oct 12, 2015

Graph Theory and Algorithms参考文献 25被引用数 4

ひとこと要約

本稿では、クラウド環境における分散グラフ処理プラットフォーム向けに、メタグラフスケッチを用いてアルゴリズムの挙動を予測し、仮想マシンにグラフパーティションを動的に配置する弾性リソース割り当て戦略を提案する。各スーパーステップにおいてアクティブなパーティションを保有する仮想マシンのみを起動することで、実行コストを最大42％削減し、マケスパンの増加は最小限（最適値の29％以内）に抑えられ、BFSのような不規則で非定常なグラフワークロードにおけるリソース利用効率が向上する。

ABSTRACT

Distributed graph platforms like Pregel have used vertex- centric programming models to process the growing corpus of graph datasets using commodity clusters. The irregular structure of graphs cause load imbalances across machines operating on graph partitions, and this is exacerbated for non-stationary graph algorithms such as traversals, where not all parts of the graph are active at the same time. As a result, such graph platforms, even as they scale, do not make efficient use of distributed resources. Clouds offer elastic virtual machines that can be leveraged to improve the resource utilization for such platforms and hence reduce the monetary cost for their execution. In this paper, we propose strategies for elastic placement of graph partitions on Cloud VMs for subgraphcentric programming model to reduce the cost of execution compared to a static placement, even as we minimize the increase in makespan. These strategies are innovative in modeling the graph algorithms behavior. We validate our strategies for several graphs, using runtime tra- ces for their distributed execution of a Breadth First Search (BFS) algorithms on our subgraph-centric GoFFish graph platform. Our strategies are able to reduce the cost of exe- cution by up to 42%, compared to a static placement, while achieving a makespan that is within 29% of the optimal

研究の動機と目的

• BFSのような非定常なアルゴリズムにおける負荷の不均衡により、分散グラフ処理プラットフォームでリソース利用効率が著しく低下する問題に対処すること。
• アルゴリズムの進行状況に基づいて仮想マシンを動的に割り当て・解放することで、クラウドのエラスティシティを活用すること。
• マケスパンを著しく増加させることなく、クラウドベースのグラフ処理における金銭的実行コストを削減すること。
• メタグラフスケッチを用いて事前にグラフアルゴリズムの挙動をモデル化し、インテリジェントなパーティション配置を支援すること。
• GoFFishプラットフォームのランタイムトレースを用いて、実世界のグラフ上で戦略を検証すること。

提案手法

• グラフパーティショニングとVM配置を分離することで、ワークロードに応じた動的再割り当てを可能にする。
• 全グラフのメタグラフスケッチを構築し、各スーパーステップにおけるアクティブなパーティションを予測する。
• メタグラフを用いて各スーパーステップでVMの起動とパーティション配置を最適化し、無駄なリソースを最小限に抑える。
• ビンパッキングおよびナップサック問題に類似したヒューリスティックを適用し、アクティブなパーティションを効率的にVMに集約する。
• アクティブなパーティションが存在しなくなった時点でVMを動的に無効化し、コストを削減する。
• 評価のため、サブグラフ中心のGoFFishプラットフォームに戦略を統合する。

実験結果

リサーチクエスチョン

• RQ1 予測されたアルゴリズム挙動に基づく動的VM割り当てが、グラフ処理におけるクラウド実行コストを削減できるか。
• RQ2 提案された弾性スケジューリング戦略は、静的配置と比較してコストとマケスパンの両面でどのように異なるか。
• RQ3 メタグラフスケッチは、BFSのような非定常なグラフアルゴリズムの進行をどの程度正確にモデル化できるか。
• RQ4 弾性パーティション配置におけるコスト削減とパフォーマンスオーバーヘッドのトレードオフはどのようなものか。
• RQ5 大幅なリソース使用量削減を実現しつつ、マケスパンを許容範囲に保てるか。

主な発見

• 提案された弾性割り当て戦略は、クラウドVMにおける静的配置と比較して、実行コストを最大42％削減した。
• 弾性戦略のマケスパンは最適マケスパンの29％以内に収まり、パフォーマンス劣化は最小限であることが示された。
• メタグラフスケッチの使用により、スーパーステップにわたるアクティブなパーティションの予測が正確に可能となり、効果的なVMスケジューリングが実現した。
• USA Road Networkグラフでは、静的配置時における平均CPU利用率が35％であったのに対し、弾性スケジューリングでは著しく高い水準に向上した。
• BFSのような非定常なアルゴリズムにおける負荷の不均衡を、各ステップで必要な仮想マシンのみを起動することで効果的に処理した。
• 強力なコストパフォーマンストレードオフを示しており、大規模なグラフ分析におけるクラウド環境での実用的妥当性が裏付けられた。