[论文解读] Connected Components at Scale via Local Contractions

Jakub Łącki, Vahab Mirrokni+1 more|arXiv (Cornell University)|Jul 27, 2018

Graph Theory and Algorithms参考文献 28被引用 12

一句话总结

本文提出了 LocalContraction，一种用于在大规模图上计算连通分量的可扩展分布式算法，通过局部边收缩实现。该算法在随机图上以高概率实现理论上的 O(log log n) 轮复杂度，显著快于标准的 O(log n) 上限，同时保持实际效率，在拥有万亿条边的图上优于当前最先进的 MapReduce 算法。

ABSTRACT

As a fundamental tool in hierarchical graph clustering, computing connected components has been a central problem in large-scale data mining. While many known algorithms have been developed for this problem, they are either not scalable in practice or lack strong theoretical guarantees on the parallel running time, that is, the number of communication rounds. So far, the best proven guarantee is $\Oh(\log n)$, which matches the running time in the PRAM model. In this paper, we aim to design a distributed algorithm for this problem that works well in theory and practice. In particular, we present a simple algorithm based on contractions and provide a scalable implementation of it in MapReduce. On the theoretical side, in addition to showing $\Oh(\log n)$ convergence for all graphs, we prove an $\Oh(\log \log n)$ parallel running time with high probability for a certain class of random graphs. We work in the MPC model that captures popular parallel computing frameworks, such as MapReduce, Hadoop or Spark. On the practical side, we show that our algorithm outperforms the state-of-the-art MapReduce algorithms. To confirm its scalability, we report empirical results on graphs with several trillions of edges.

研究动机与目标

• 设计一种在 MPC 模型中兼具强大理论保证与实际可扩展性的连通分量分布式算法。
• 解释现有算法在实践中表现优异的原因，尽管其理论复杂度为 O(log n)，但实际运行仅需几轮。
• 在保持低通信量和良好负载均衡的前提下，为随机图实现亚对数轮复杂度。
• 在包含万亿个边的图上实现并评估该算法，证明其在真实场景中的可扩展性。

提出的方法

• 该算法使用局部边收缩迭代减小图的规模，基于顶点优先级收缩边以形成超节点。
• 每个阶段收缩具有相同优先级的顶点之间的边，减少顶点和边的数量，同时保持连通分量不变。
• 关键优化是将小型收缩图发送至单台机器进行最终处理（使用并查集），从而降低通信开销。
• 该算法利用 MPC 模型抽象 MapReduce 类似框架，确保低通信复杂度和良好的负载均衡。
• 理论分析证明：所有图的收敛复杂度为 O(log n)，在特定条件下，随机图的复杂度为 O(log log n)（以高概率）。
• 实验评估将 LocalContraction 与 Cracker、Two-Phase、Hash-To-Min 和 TreeContraction 在大规模数据集上进行了对比。

实验结果

研究问题

• RQ1 能否设计一种基于收缩的简单算法，在保持实际效率的同时，为随机图实现亚对数轮复杂度？
• RQ2 为何实际算法（如 Hash-To-Min）的表现远优于其理论 O(log n) 上限所预测的结果？
• RQ3 能否设计一种分布式算法，既具备强大的理论保证，又在大规模图上实现优越的实际性能？
• RQ4 实际通信复杂度是多少？尽管理论上限为 O(m log n)，但实际中是否仍保持在 O(m) 左右？

主要发现

• LocalContraction 在随机图上以高概率实现 O(log log n) 轮复杂度，显著优于标准的 O(log n) 上限。
• 在 Friendster 和 webpages 等大规模图上，该算法相比当前最先进的 MapReduce 算法性能提升最高达 20 倍。
• 在包含最多 8540 亿个顶点和 6.5 万亿条边的图上，LocalContraction 成功完成计算，创下连通分量计算的新规模纪录。
• 在每个阶段，边数至少减少一个数量级，表明实际收敛迅速且通信开销极低。
• 尽管理论通信复杂度为 O(m log n)，但实验结果表明在真实图上通信量仍接近 O(m)。
• 在所有测试数据集中，该算法仅使用 2 至 5 个阶段，Friendster 和 Orkut 仅需 2 个阶段，展现出极强的可扩展性。