[论文解读] Improved MPC Algorithms for MIS, Matching, and Coloring on Trees and Beyond

Bateni, MohammadHossein, Behnezhad, Soheil+3 more|arXiv (Cornell University)|Sep 11, 2018

Algorithms and Data Compression参考文献 18被引用 4

一句话总结

本文提出了一种在大规模并行计算（MPC）模型下并行化树上动态规划的一般算法框架。它引入了两类问题——(poly log)-可表达问题和线性可表达问题——可在每台机器使用次线性内存的前提下，以 O(log n) 轮完成计算，从而实现了最小割分、最大独立集和最长路径等基础树问题的高效 MPC 实现。

ABSTRACT

Dynamic programming is a powerful technique that is, unfortunately, often inherently sequential. That is, there exists no unified method to parallelize algorithms that use dynamic programming. In this paper, we attempt to address this issue in the Massively Parallel Computations (MPC) model which is a popular abstraction of MapReduce-like paradigms. Our main result is an algorithmic framework to adapt a large family of dynamic programs defined over trees. We introduce two classes of graph problems that admit dynamic programming solutions on trees. We refer to them as "(polylog)-expressible" and "linear-expressible" problems. We show that both classes can be parallelized in $O(\log n)$ rounds using a sublinear number of machines and a sublinear memory per machine. To achieve this result, we introduce a series of techniques that can be plugged together. To illustrate the generality of our framework, we implement in $O(\log n)$ rounds of MPC, the dynamic programming solution of graph problems such as minimum bisection, $k$-spanning tree, maximum independent set, longest path, etc., when the input graph is a tree.

研究动机与目标

• 解决大规模分布式环境中动态规划固有的顺序性问题。
• 设计一个统一的 MPC 框架，以实现树上动态规划的高效并行化。
• 识别并形式化一类图问题——(poly log)-可表达问题和线性可表达问题——使其在 MPC 设置下可高效求解。
• 通过在 O(log n) 轮内实现多种树优化问题的解决方案，证明该框架的通用性。

提出的方法

• 引入两类树上的问题：(poly log)-可表达问题和线性可表达问题。
• 定义一种动态规划形式化方法，其中每个子树的状态取决于边界顶点的着色情况以及非辅助顶点的数量。
• 使用一个‘统一器’（U）和一个‘子统一器’（S）函数，以高效方式合并子树之间的部分解。
• 通过引入辅助顶点的二叉树变换，强制执行结构约束（例如父子一致性），同时不影响解的成本。
• 采用递归的、自底向上的 MPC 计算方式，各机器处理子树，并仅在每轮边界进行通信。
• 利用次线性内存和机器数量，确保可扩展性，每台机器处理 O(n/m) 的数据，且每轮运行时间多项式时间。

实验结果

研究问题

• RQ1 尽管存在固有的顺序性，是否可以在 MPC 模型下有效并行化树上的动态规划？
• RQ2 树问题的何种结构特性使其能够在 MPC 设置下被高效并行化？
• RQ3 是否可以设计一个统一框架，以 O(log n) 轮 MPC 时间处理广泛的一类树优化问题？
• RQ4 如何以最少的通信和内存开销，合并跨子树的动态规划状态？
• RQ5 在 MPC 模型中，树上的问题在次线性内存和 O(log n) 轮内可解的必要条件是什么？

主要发现

• 本文证明了树上的 (poly log)-可表达问题和线性可表达问题可在每台机器使用次线性内存的前提下，以 O(log n) 轮求解。
• 最小割分问题可在高概率下以 O(log n) 轮求解，当有 m 台机器时，每台机器使用 eO(n^{4/3}/m) 的空间。
• 该框架支持多种问题的高效 MPC 实现，包括最大独立集、最长路径、最小点覆盖和 k-生成树。
• 最小割分问题的解依赖于具有无穷大边权的辅助顶点，以强制实现父子一致性，从而确保子树解的正确合并。
• 统一器和子统一器函数能够正确且高效地合并树划分中各部分的动态规划状态。
• 该方法可扩展至其他问题，如 k-最大生成树和设施选址问题，表明其在树形结构优化问题中具有广泛适用性。