[论文解读] Lessons from the Congested Clique Applied to MapReduce

James W. Hegeman, Sriram V. Pemmaraju|arXiv (Cornell University)|May 17, 2014

Complexity and Algorithms in Graphs参考文献 11被引用 13

一句话总结

本文提出了一种通用的仿真框架，可将Congested Clique模型中的算法转换为等价的MapReduce算法，证明了在Congested Clique模型中以O(1)轮运行的O(Δ)-coloring算法可在MapReduce模型中以O(1)轮高效模拟。关键贡献在于提出了一项新颖的仿真定理，将Congested Clique中的每节点带宽映射到MapReduce中的每台机器内存，从而在每台机器内存为次线性的情况下，仍能实现图着色的常数轮解法。

ABSTRACT

The main results of this paper are (I) a simulation algorithm which, under quite general constraints, transforms algorithms running on the Congested Clique into algorithms running in the MapReduce model, and (II) a distributed $O(Δ)$-coloring algorithm running on the Congested Clique which has an expected running time of (i) $O(1)$ rounds, if $Δ\geq Θ(\log^4 n)$; and (ii) $O(\log \log n)$ rounds otherwise. Applying the simulation theorem to the Congested-Clique $O(Δ)$-coloring algorithm yields an $O(1)$-round $O(Δ)$-coloring algorithm in the MapReduce model. Our simulation algorithm illustrates a natural correspondence between per-node bandwidth in the Congested Clique model and memory per machine in the MapReduce model. In the Congested Clique (and more generally, any network in the $\mathcal{CONGEST}$ model), the major impediment to constructing fast algorithms is the $O(\log n)$ restriction on message sizes. Similarly, in the MapReduce model, the combined restrictions on memory per machine and total system memory have a dominant effect on algorithm design. In showing a fairly general simulation algorithm, we highlight the similarities and differences between these models.

研究动机与目标

• 建立Congested Clique模型中的带宽约束与MapReduce模型中的内存约束之间的正式对应关系。
• 开发一种通用的仿真算法，将Congested Clique算法转换为高效的MapReduce算法。
• 通过在具有Ω(n^{1+c})条边的图上实现O(1)轮O(Δ)-着色算法，证明该仿真的实际效用。
• 探讨Congested Clique模型的有状态特性是否在图着色问题上为MapReduce模型提供可证明的优势。
• 研究在放宽内存约束条件下，是否可在MapReduce中实现O(1)轮O(Δ)-着色，特别是当每台机器内存为O(n^{1−ε})时

提出的方法

• 将Congested Clique算法的每一轮映射为MapReduce中的一轮map-shuffle-reduce操作，使用分区函数将数据分发到各个reducer。
• 通过将非广播数据的每台reducer处理的元组数量限制在O(n^{1+ε})以内，广播消息限制在O(n)以内，确保负载均衡。
• 显式地在reducer之间均衡分配状态和消息计数信息，防止任何一台机器的内存使用超过O(n)。
• 仿真过程保留了原始Congested Clique算法的算法逻辑，包括消息传递和本地计算，同时遵守MapReduce的数据并行与内存受限执行模型。
• 框架使用元数据元组描述分区函数，确保任意reducer持有的此类元组不超过O(n)个，从而维持次线性内存边界。
• 在原始Congested Clique算法为(n^{1+c}, n^{1+ε})-轻量级的假设下，证明了该仿真的正确性，确保每台机器的通信和内存使用均受控。

实验结果

研究问题

• RQ1 能否系统性地在MapReduce模型中仿真为Congested Clique模型设计的算法，且保持相近的轮数复杂度？
• RQ2 Congested Clique中的每节点带宽与MapReduce中的每台机器内存之间的确切对应关系是什么？
• RQ3 当每台机器内存为O(n)时，是否仍可在MapReduce中实现O(1)轮O(Δ)-着色，而无需要求ε > 0？
• RQ4 Congested Clique模型的有状态特性是否在图着色问题上为状态无状态的MapReduce模型提供了可证明的优势？
• RQ5 当每台机器内存为O(n^{1−ε})（ε > 0）时，是否可在MapReduce中实现O(1)轮O(Δ)-着色？

主要发现

• 对于Δ ≥ Θ(log⁴n)的图，O(Δ)-着色算法在Congested Clique模型中以O(1)轮运行，可在MapReduce模型中以O(1)轮仿真。
• 该仿真框架即使在每台机器内存为O(n)时，也能实现在MapReduce中的O(1)轮O(Δ)-着色，这相比以往工作（要求ε > 0以实现O(1)轮性能）是显著改进。
• 仿真过程保持了通信和内存边界，确保任意reducer处理的元组不超过O(n^{1+ε})个，且广播消息不会在reducer之间重复。
• 该框架表明，Congested Clique中的拥塞与MapReduce中的内存限制之间的结构相似性，使得两类模型间可直接进行算法迁移。
• 对于具有Ω(n^{1+c})条边且Δ ≥ log⁴n的n个节点的图，计算O(Δ)-着色问题是MRC⁰复杂度类中的问题，表明在标准MapReduce约束下可实现常数轮求解。
• 对于小Δ = O(poly(log n))的情况，本文在Congested Clique模型上提出了一个O(log log log n)-轮O(Δ)-着色算法，该算法同样可被仿真到MapReduce中，尽管轮数复杂度更高。