[论文解读] Round Compression for Parallel Graph Algorithms in Strongly Sublinear Space

Krzysztof Onak|arXiv (Cornell University)|Jul 23, 2018

Complexity and Algorithms in Graphs参考文献 25被引用 17

一句话总结

该论文提出了首个在任意图上以每台机器 O(n^δ) 空间在 Õ(√log n) 轮内计算大规模匹配或小顶点覆盖的 MPC 算法，打破了长期存在的对数轮复杂度障碍。其通过反复利用低度子图和指数局部加速，将多轮剥除算法压缩为更少轮次，实现在强次线性空间下的快速收敛。

ABSTRACT

The Massive Parallel Computation (MPC) model is a theoretical framework for popular parallel and distributed platforms such as MapReduce, Hadoop, or Spark. We consider the task of computing a large matching or small vertex cover in this model when the space per machine is $n^δ$ for $δ\in (0,1)$, where $n$ is the number of vertices in the input graph. A direct simulation of classic PRAM and distributed algorithms from the 1980s results in algorithms that require at least a logarithmic number of MPC rounds. We give the first algorithm that breaks this logarithmic barrier and runs in $ ilde O(\sqrt{\log n})$ rounds, as long as the total space is at least slightly superlinear in the number of vertices. The result is obtained by repeatedly compressing several rounds of a natural peeling algorithm to a logarithmically smaller number of MPC rounds. Each time we show that it suffices to consider a low-degree subgraph, in which local neighborhoods can be explored with exponential speedup. Our techniques are relatively simple and can also be used to accelerate the simulation of distributed algorithms for bounded-degree graphs and finding a maximal independent set in bounded-arboricity graphs.

研究动机与目标

• 克服在每台机器空间为次线性（即 O(n^δ)，δ ∈ (0,1)）时 MPC 模型中长期存在的对数轮复杂度障碍。
• 在强次线性空间约束下，设计更快的近似最大匹配与最小顶点覆盖算法，适用于任意图。
• 通过利用大规模并行性与空间效率，实现在单台机器无法容纳全部数据的实用分布式系统中的高效计算。
• 证明通过在低度子图中探索局部邻域，可显著减少 MPC 轮数。

提出的方法

• 提出一种轮次压缩技术，可在对数更小的 MPC 轮数内模拟剥除算法的多轮执行。
• 聚焦于低度子图，在这些子图中可通过指数级局部加速探索局部邻域，从而降低通信与计算开销。
• 采用递归剥除过程，迭代移除低度顶点，保持有界边树性结构，以支持高效模拟。
• 在诱导子图上使用随机标签并模拟 Ghaffari 的 MIS 算法，每轮迭代在 O(log Δ) 轮内计算最大独立集。
• 利用排序与前缀和原原子在 O(1) MPC 轮内管理消息分发与本地计算。
• 应用 Panconesi 与 Srinivasan 提出的分解技术，控制局部空间使用量，确保在每台机器 O(n^δ) 空间内可行。

实验结果

研究问题

• RQ1 当每台机器空间为次线性时，能否在 MPC 模型中改进经典 PRAM 与分布式算法的轮复杂度？
• RQ2 在 MPC 模型中，以每台机器 O(n^δ) 空间，能否实现匹配与顶点覆盖等基础图问题的强次对数轮复杂度？
• RQ3 能否使用轮次压缩技术在更少的 MPC 轮内模拟多轮算法执行，同时保持正确性与效率？
• RQ4 如何在低度子图中加速局部邻域探索，以减少 MPC 的总轮数？

主要发现

• 该论文在每台机器 O(n^δ) 空间下，实现了对任意图中最大匹配与最小顶点覆盖的 Õ(√log n) 轮近似算法。
• 该算法打破了以往经典 PRAM 与分布式算法模拟所需的 Ω(log n) 轮复杂度障碍。
• 其核心创新在于通过迭代剥除与低度子图中的局部加速实现轮次压缩，从而实现轮数的指数级减少。
• 该方法适用于任意图，并在略高于线性总空间的设定下运行，使其在社交网络等大规模稀疏图中具有实际应用价值。
• 该方法可推广至其他问题，如有界边树性图中的最大独立集，同样实现轮复杂度的显著提升。
• 该算法以高概率（1 - O(log n / n)）在 Õ(√log n) 轮内运行，确保了可忽略的错误率。