[论文解读] Brief Announcement: Semi-MapReduce Meets Congested Clique.

Soheil Behnezhad, Mahsa Derakhshan+1 more|arXiv (Cornell University)|Feb 28, 2018

Advanced Graph Neural Networks被引用 12

一句话总结

本文证明了半 MapReduce（半-MPC）在计算能力上几乎与拥塞 clique 模型等价，能够高效模拟分布式算法。它表明半-MPC 可以匹配 CONGEST 等其他模型的轮次复杂度，同时优化机器数量，从而通过模拟实现更优的算法。

ABSTRACT

Graph problems are troublesome when it comes to MapReduce. Typically, to be able to design algorithms that make use of the advantages of MapReduce, assumptions beyond what the model imposes, such as the {\em density} of the input graph, are required. In a recent shift, a simple and robust model of MapReduce for graph problems, where the space per machine is set to be $O(|V|)$ has attracted considerable attention. We term this model {\em semi-MapReduce}, or in short, semi-MPC, and focus on its computational power. In this short note, we show through a set of simulation methods that semi-MPC is, perhaps surprisingly, almost equivalent to the congested clique model of distributed computing. However, semi-MPC, in addition to round complexity, incorporates another practically important dimension to optimize: the number of machines. Furthermore, we show that algorithms in other distributed computing models, such as CONGEST, can be simulated to run in the same number of rounds of semiMPC while also using an optimal number of machines. We later show the implications of these simulation methods by obtaining improved algorithms for these models using the recent algorithms that have been developed.

研究动机与目标

• 研究半 MapReduce（半-MPC）在图问题上的计算能力。
• 建立半-MPC 与拥塞 clique 模型之间的正式联系。
• 证明其他模型（如 CONGEST）中的算法可在半-MPC 中以最优机器使用方式高效模拟。
• 利用拥塞 clique 模型的最新进展，提升半-MPC 中的算法性能。

提出的方法

• 作者使用模拟技术在半-MPC 框架内模拟拥塞 clique 算法。
• 他们将轮次复杂度与机器数量作为半-MPC 中的双重优化维度进行分析。
• 他们证明半-MPC 可在相同轮次内模拟 CONGEST 模型的算法。
• 他们证明半-MPC 在计算表达能力上几乎与拥塞 clique 模型等价。
• 他们将已知的高效拥塞 clique 算法应用于半-MPC，推导出改进结果。
• 他们通过证明模拟过程同时保持轮次效率与机器最优性，验证了该方法的有效性。

实验结果

研究问题

• RQ1 半 MapReduce 的计算能力与拥塞 clique 模型相比如何？
• RQ2 CONGEST 模型中的算法能否在半-MPC 中以相同轮次复杂度高效模拟？
• RQ3 半-MPC 在多大程度上保持了其他分布式模型算法的效率？
• RQ4 该模拟框架能否利用拥塞 clique 模型的进展，在半-MPC 中实现更优的算法性能？
• RQ5 半-MPC 中轮次复杂度与机器数量之间存在何种权衡？能否实现优化？

主要发现

• 半 MapReduce 在计算能力上几乎与拥塞 clique 模型等价。
• CONGEST 模型中的算法可在半-MPC 中以相同轮次复杂度进行模拟。
• 该模拟框架不仅实现了轮次效率，还实现了最优的机器使用。
• 通过利用拥塞 clique 模型的最新进展，可推导出针对图问题的改进算法。
• 该方法在半-MPC 与其他分布式计算模型之间建立了强有力的桥梁。
• 结果表明，半-MPC 同时支持高效的轮次复杂度与最少的机器数量，具有实际有效性。