[论文解读] Elastic Resource Allocation for Distributed Graph Processing Platforms

Ravikant Dindokar, Yogesh Simmhan|arXiv (Cornell University)|Oct 12, 2015

Graph Theory and Algorithms参考文献 25被引用 4

一句话总结

该论文提出了一种在云环境中针对分布式图处理平台的弹性资源分配策略，利用元图草图预测算法行为，并在虚拟机上动态放置图分区。通过仅在每个超步中激活承载活跃分区的虚拟机，该方法将执行成本最高降低42%，同时使完成时间增加幅度极小（不超过最优值的29%），从而提升了对不规则、非平稳图工作负载（如BFS）的资源利用率。

ABSTRACT

Distributed graph platforms like Pregel have used vertex- centric programming models to process the growing corpus of graph datasets using commodity clusters. The irregular structure of graphs cause load imbalances across machines operating on graph partitions, and this is exacerbated for non-stationary graph algorithms such as traversals, where not all parts of the graph are active at the same time. As a result, such graph platforms, even as they scale, do not make efficient use of distributed resources. Clouds offer elastic virtual machines that can be leveraged to improve the resource utilization for such platforms and hence reduce the monetary cost for their execution. In this paper, we propose strategies for elastic placement of graph partitions on Cloud VMs for subgraphcentric programming model to reduce the cost of execution compared to a static placement, even as we minimize the increase in makespan. These strategies are innovative in modeling the graph algorithms behavior. We validate our strategies for several graphs, using runtime tra- ces for their distributed execution of a Breadth First Search (BFS) algorithms on our subgraph-centric GoFFish graph platform. Our strategies are able to reduce the cost of exe- cution by up to 42%, compared to a static placement, while achieving a makespan that is within 29% of the optimal

研究动机与目标

• 解决由于BFS等非平稳算法导致的负载不均，从而在分布式图处理平台中造成资源利用率低下的问题。
• 利用云环境的弹性特性，根据算法进展动态分配和释放虚拟机。
• 在不显著增加完成时间的前提下，降低基于云的图处理的货币执行成本。
• 利用元图草图预先建模图算法行为，以指导智能分区放置。
• 基于GoFFish平台的运行时追踪，在真实图上验证该策略。

提出的方法

• 将图分区与虚拟机放置解耦，实现基于工作负载的动态重新分配。
• 构建整个图的元图草图，以预测各超步中活跃的分区。
• 利用元图在每个超步中指导虚拟机的激活和分区放置，最大限度减少空闲资源。
• 应用类似装箱和背包问题的启发式算法，高效地将活跃分区聚集在虚拟机上。
• 当不再存在活跃分区时，动态停用虚拟机，从而降低开销。
• 将该策略集成到子图中心的GoFFish平台中，用于评估。

实验结果

研究问题

• RQ1 基于预测的算法行为进行动态虚拟机分配，是否能降低图处理在云环境中的执行成本？
• RQ2 与静态放置相比，所提出的弹性调度策略在成本和完成时间方面表现如何？
• RQ3 元图草图在多大程度上能准确建模BFS等非平稳图算法的执行过程？
• RQ4 在弹性分区放置中，成本降低与性能开销之间的权衡如何？
• RQ5 该策略能否在显著降低资源使用量的同时，保持可接受的完成时间？

主要发现

• 所提出的弹性分配策略相较于静态放置，可将云虚拟机上的执行成本最高降低42%。
• 弹性策略的完成时间保持在最优完成时间的29%以内，表明性能退化极小。
• 使用元图草图能够准确预测各超步中活跃的分区，从而实现高效的虚拟机调度。
• 对于美国道路网络图，平均CPU利用率从静态放置下的35%显著提升至弹性调度下的更高水平。
• 该方法通过仅在每一步激活必要虚拟机，有效缓解了BFS等非平稳算法的负载不均问题。
• 该策略展现出良好的成本-性能权衡，使其在云环境中适用于大规模图分析。