[论文解读] Effective Techniques for Message Reduction and Load Balancing in Distributed Graph Computation

Da Yan, James Cheng+2 more|arXiv (Cornell University)|Mar 2, 2015

Graph Theory and Algorithms参考文献 23被引用 13

一句话总结

本文提出了两种技术——顶点镜像与消息合并，以及请求-响应API——以减少分布式图计算中的通信开销并实现负载均衡。通过最小化高degree顶点发送的消息数量，并支持高效的非邻居通信，这些技术显著减少了真实图上的总消息数量和执行时间。

ABSTRACT

Massive graphs, such as online social networks and communication networks, have become common today. To efficiently analyze such large graphs, many distributed graph computing systems have been developed. These systems employ the "think like a vertex" programming paradigm, where a program proceeds in iterations and at each iteration, vertices exchange messages with each other. However, using Pregel's simple message passing mechanism, some vertices may send/receive significantly more messages than others due to either the high degree of these vertices or the logic of the algorithm used. This forms the communication bottleneck and leads to imbalanced workload among machines in the cluster. In this paper, we propose two effective message reduction techniques: (1)vertex mirroring with message combining, and (2)an additional request-respond API. These techniques not only reduce the total number of messages exchanged through the network, but also bound the number of messages sent/received by any single vertex. We theoretically analyze the effectiveness of our techniques, and implement them on top of our open-source Pregel implementation called Pregel+. Our experiments on various large real graphs demonstrate that our message reduction techniques significantly improve the performance of distributed graph computation.

研究动机与目标

• 解决由高degree顶点和算法逻辑引起的分布式图处理中的通信瓶颈。
• 减少总消息量，并消除集群中各机器间的工作负载分布不均问题。
• 在不修改用户程序的前提下，提升Pregel风格图系统的性能。
• 通过新型编程抽象，实现顶点中心图算法中高效的非本地通信。
• 在真实图工作负载中，证明消息减少与负载均衡相结合的有效性。

提出的方法

• 引入顶点镜像：每个顶点维护其高degree邻居的镜像副本，以减少直接发送消息的数量。
• 应用消息合并：在传输前将发送给同一目标顶点的消息进行聚合，以减少总消息数量。
• 设计请求-响应API，允许顶点向任意顶点（不仅邻居）发送请求，目标顶点可直接响应。
• 在Pregel+（一个开源的Pregel兼容系统）中实现这两种技术，以评估端到端性能。
• 采用混合方法：镜像技术减少高degree顶点带来的负载，请求-响应机制实现高效的非本地通信。
• 理论分析表明，镜像技术可限制每个顶点的消息数量，而请求-响应机制可避免不必要的消息传播。

实验结果

研究问题

• RQ1 在分布式图处理中，如何缓解由高degree顶点引起的通信瓶颈？
• RQ2 消息合并与顶点镜像在多大程度上能减少总消息量并改善负载均衡？
• RQ3 新的请求-响应编程模型能否有效替代Pregel风格系统中复杂的消息传递模式？
• RQ4 与Giraph、GraphLab和GPS等现有系统相比，所提出技术的性能表现如何？
• RQ5 所提技术在消息减少与计算开销之间存在何种权衡？

主要发现

• 顶点镜像与消息合并的集成在真实图（如WebUK和BTC）上将消息数量减少了高达75%。
• 在WebUK图上，使用请求-响应技术后，属性广播的消息数从11,015百万减少至2,699百万。
• Pregel+结合两种技术后，性能优于Giraph和GraphLab，并在消息交换量更多的情况下，与GPS持平或超越其性能。
• 在低degree图（如USA）上，请求-响应技术效果不佳，因其开销超过了消息减少带来的收益。
• 即使与高度优化的系统GPS相比，镜像与消息合并带来的性能提升依然显著，证明了所提技术的价值。
• 镜像的预处理一次性开销较短，远小于整体计算时间，因此在生产环境中具有实际可行性。