[论文解读] Distributed Edge Partitioning for Graph Processing

Alessio Guerrieri, Alberto Montresor|arXiv (Cornell University)|Mar 25, 2014

Graph Theory and Algorithms参考文献 15被引用 21

一句话总结

本文提出了一种新颖的分布式边划分框架 etsch，其中图计算被分配给边而非顶点，从而实现更高效的并行处理。它引入了 dfep，一种可扩展的启发式算法，可在分布式节点间划分边，实现负载均衡，并显著提升在 Hadoop 和云环境中的图分析工作负载性能。

ABSTRACT

The availability of larger and larger graph datasets, growing exponentially over the years, has created several new algorithmic challenges to be addressed. Sequential approaches have become unfeasible, while interest on parallel and distributed algorithms has greatly increased. Appropriately partitioning the graph as a preprocessing step can improve the degree of parallelism of its analysis. A number of heuristic algorithms have been developed to solve this problem, but many of them subdivide the graph on its vertex set, thus obtaining a vertex-partitioned graph. Aim of this paper is to explore a completely different approach based on edge partitioning, in which edges, rather than vertices, are partitioned into disjoint subsets. Contribution of this paper is twofold: first, we introduce a graph processing framework based on edge partitioning, that is flexible enough to be applied to several different graph problems. Second, we show the feasibility of these ideas by presenting a distributed edge partitioning algorithm called d-fep. Our framework is thoroughly evaluated, using both simulations and an Hadoop implementation running on the Amazon EC2 cloud. The experiments show that d-fep is efficient, scalable and obtains consistently good partitions. The resulting edge-partitioned graph can be exploited to obtain more efficient implementations of graph analysis algorithms.

研究动机与目标

• 为解决大规模图处理中基于顶点划分的局限性，探索以边划分为替代方案。
• 设计一种灵活的分布式图处理框架 etsch，其中计算与边关联，而非与顶点关联。
• 开发并评估 dfep，一种新颖的启发式算法，用于分布式边划分，确保负载均衡并最小化通信开销。
• 通过仿真和在 Amazon EC2 上的真实 Hadoop 部署，证明边划分的可行性和高效性。

提出的方法

• 框架 etsch 将计算围绕边组织，使每条边能够携带状态并独立参与分布式处理。
• dfep 采用受 Kernighan-Lin 和模拟退火启发的启发式方法，实现可扩展的、负载均衡的分布式边划分。
• 该算法通过迭代的局部优化将边分配给分区，最小化边切割数，同时保持分区大小均衡。
• 考虑了线图变换作为向顶点划分的理论约简，但因尺寸显著增加而被放弃。
• 系统在 Hadoop 上实现，并在 Amazon EC2 上使用合成图和真实图工作负载进行评估。
• 通过减少跨分区边的数量，最小化通信开销，从而提升可扩展性和性能。

实验结果

研究问题

• RQ1 在分布式图处理框架中，边划分是否能优于传统的基于顶点的划分？
• RQ2 如何设计一种分布式边划分算法，以确保负载均衡并最小化通信成本？
• RQ3 边划分在多大程度上能提升 SSSP 等图分析算法的性能？
• RQ4 所提出的 etsch 框架是否足够灵活，能够支持除基础问题外的多种图问题？
• RQ5 dfep 在 Amazon EC2 等真实分布式环境中如何扩展？

主要发现

• dfep 在多种图类型上均实现了高质量的划分结果，边切割数低且分区大小均衡。
• 基于 Hadoop 的 etsch 实现优于标准基线算法，在单源最短路径（SSSP）工作负载中表现出更高的效率。
• dfep 在 Amazon EC2 上表现出良好的可扩展性，随着集群规模和图规模的增加，显著提升了执行速度。
• 与基于顶点划分的模型相比，边划分图模型减少了通信开销，支持更高效的并行执行。
• 结果表明，etsch 框架适用于多种图问题，具有进一步优化和更广泛应用的潜力。
• 实验结果证实，边划分是分布式图处理中基于顶点划分的一种可行且有效的替代方案。