[论文解读] Almost Optimal Distributed Algorithms for Large-Scale Graph Problems.

Gopal Pandurangan, Peter Robinson+1 more|arXiv (Cornell University)|Mar 9, 2015

Complexity and Algorithms in Graphs参考文献 29被引用 3

一句话总结

本文提出了一种几乎最优的随机化分布式算法，用于在 k 台机器模型下的图连通性问题，通过线性图压缩和其他技术，实现了 $\tilde{O}(n/k^2)$ 轮的运行时间。该方法改进了先前的界限，并在多对数因子范围内达到最优，其扩展至最小生成树、最小割和图验证问题，均在 $\tilde{O}(n/k^2)$ 轮内完成。

ABSTRACT

Motivated by the increasing need to understand the algorithmic foundations of distributed large-scale graph computations, we study a number of fundamental graph problems in a message-passing model for distributed computing where $k \geq 2$ machines jointly perform computations on graphs with $n$ nodes (typically, $n \gg k$). The graph is assumed to be randomly partitioned among the $k$ machines, a common implementation in many real-world systems. The communication is point-to-point, and the goal is to minimize the time complexity, i.e., the number of communication rounds of the computation. Our main result is an (almost) optimal distributed randomized algorithm for graph connectivity. Our algorithm runs in $ ilde{O}(n/k^2)$ rounds ($ ilde{O}$ notation hides a $ ext{polylog}(n)$ factor and an additive $ ext{polylog}(n)$ term). This improves over the best previously known bound of $ ilde{O}(n/k)$ [Klauck et al., SODA 2015], and is optimal (up to a polylogarithmic factor) in view of the existing lower bound of $ ilde{\Omega}(n/k^2)$. Our improved algorithm uses a bunch of techniques, including linear graph sketching, which for the first time is applied in a non-trivial way in distributed computing. We then present fast randomized algorithms for computing minimum spanning trees, (approximate) min-cuts, and for many graph verification problems. All these algorithms take $ ilde{O}(n/k^2)$ rounds, and are optimal up to polylogarithmic factors. We also show an almost matching lower bound of $ ilde{\Omega}(n/k^2)$ for many graph verification problems.

研究动机与目标

• 为在多台机器上进行大规模图计算的分布式算法日益增长的需求提供解决方案。
• 在消息传递模型中最小化通信轮次，其中图被随机划分到 k 台机器上。
• 为连通性、最小生成树（MST）、最小割和验证等基本图问题实现近乎最优的时间复杂度。
• 在 k 台机器模型中为分布式图问题建立紧致的上下界。

提出的方法

• 首次以非平凡方式在分布式计算中应用线性图压缩，以实现高效的通信。
• 设计一种随机化算法，通过利用压缩和分布式聚合，实现图连通性问题的 $\tilde{O}(n/k^2}$ 轮复杂度。
• 将基于压缩的方法扩展至在相同轮次复杂度内计算最小生成树和近似最小割。
• 使用随机化验证技术，以 $\tilde{O}(n/k^2)$ 轮高效检查图的性质。
• 应用归约和下界技术，表明 $\tilde{\Omega}(n/k^2)$ 是许多验证问题的近乎匹配的下界。

实验结果

研究问题

• RQ1 在具有随机图划分的 k 台机器分布式模型中，图连通性问题是否可以在 $\tilde{O}(n/k^2)$ 轮内解决？
• RQ2 哪些技术使得连通性问题的性能显著优于先前的 $\tilde{O}(n/k)$ 界限？
• RQ3 线性图压缩在设计图问题高效分布式算法方面可以发挥多大作用？
• RQ4 对于最小生成树（MST）、最小割和图验证问题，$\tilde{O}(n/k^2)$ 的轮次复杂度是否在多对数因子范围内达到最优？

主要发现

• 所提出的图连通性算法在 $\tilde{O}(n/k^2)$ 轮内运行，优于先前的 $\tilde{O}(n/k)$ 界限。
• 该算法在多对数因子范围内达到最优，与现有的 $\tilde{\Omega}(n/k^2)$ 下界相匹配。
• 通过相同的基于压缩的方法，最小生成树和近似最小割问题均在 $\tilde{O}(n/k^2)$ 轮内解决。
• 图验证问题（包括连通性和割验证）至少需要 $\tilde{\Omega}(n/k^2)$ 轮，从而确立了近乎紧致的界限。