[论文解读] Complexity Measures for Map-Reduce, and Comparison to Parallel Computing

Ashish Goel, Kamesh Munagala|arXiv (Cornell University)|Nov 28, 2012

Cloud Computing and Resource Management参考文献 6被引用 30

一句话总结

这篇综述性论文为Map-Reduce引入了形式化的复杂度度量，将其与PRAM等传统并行模型区分开来。它表明，Map-Reduce的shuffle阶段能够以较低的内存开销实现高效的聚合，这使其从根本上区别于PRAM，并支持在经典并行模型中效率不高的算法。

ABSTRACT

The programming paradigm Map-Reduce and its main open-source implementation, Hadoop, have had an enormous impact on large scale data processing. Our goal in this expository writeup is two-fold: first, we want to present some complexity measures that allow us to talk about Map-Reduce algorithms formally, and second, we want to point out why this model is actually different from other models of parallel programming, most notably the PRAM (Parallel Random Access Memory) model. We are looking for complexity measures that are detailed enough to make fine-grained distinction between different algorithms, but which also abstract away many of the implementation details.

研究动机与目标

• 建立一个跨工程界与理论界讨论Map-Reduce算法性能的通用术语体系。
• 澄清Map-Reduce是否仅仅是并行计算的重新命名，尤其是与PRAM模型相比。
• 形式化复杂度度量，以捕捉Map-Reduce中的性能瓶颈，同时抽象掉底层实现细节。
• 突出shuffle阶段的聚合能力所带来的性能优势，这种优势未被传统并行模型所捕捉。
• 证明Map-Reduce能够为某些问题提供高效算法，而这些问题在PRAM模型中可能因内存和阶段结构差异而无法高效求解。

提出的方法

• 提出两种主要复杂度度量：键复杂度（每个mapper/reducer）和序列复杂度（跨所有mapper和reducer的总和）。
• 键复杂度跟踪任一mapper或reducer处理每个键值对时的最大大小、运行时间和内存使用。
• 序列复杂度聚合所有mapper和reducer的总输入/输出大小和总运行时间。
• 引入阶段与键复杂度的区分，使每个键的序列计算可与并行性分离。
• 将shuffle阶段建模为基于磁盘的聚合步骤，不计入算法开销，反映真实世界Hadoop式实现的特性。
• 分析Map-Reduce与PRAM在内存与通信之间的权衡，表明当使用流式reducer时，Map-Reduce可实现每个reducer的$O(1)$内存开销，而PRAM则需要每个机器$O(N/K)$的内存。

实验结果

研究问题

• RQ1 我们如何使用细粒度的复杂度度量，正式衡量并比较不同Map-Reduce算法的性能？
• RQ2 尽管Map-Reduce和PRAM都是并行计算模型，它们在根本上有哪些不同？
• RQ3 为何Map-Reduce在某些工作负载下比PRAM具有更好的内存效率，这种差异在复杂度模型中如何体现？
• RQ4 shuffle阶段的聚合能力在多大程度上提供了传统并行模型中不存在的性能优势？
• RQ5 由于其独特的阶段和内存结构，Map-Reduce能否高效求解在PRAM模型中无高效算法的问题？

主要发现

• 使用$K$个reducer时，Map-Reduce可通过流式reducer实现每个reducer的$O(1)$内存开销，而PRAM在$N$个节点下每个机器需$O(N/K)$内存。
• Map-Reduce中所有reducer的总内存使用量为$O(K)$，远低于PRAM在$N$个节点下的$O(N)$总内存。
• shuffle阶段基于磁盘的聚合在复杂度模型中被视为免费，反映了这是系统级优化，将聚合成本与算法成本隔离。
• 对于求和或最大值等聚合操作，当在mapper本地合并时，键复杂度为$O(1)$，在实践中可忽略不计。
• Map-Reduce允许在$O(\sqrt{n})$键复杂度与$O(\log n)$阶段之间进行权衡，而输入大小为$n$，这种权衡在PRAM模型中无法高效表达。
• 该模型揭示了Map-Reduce能够高效求解某些问题，而这些问题在PRAM模型中可能因内存和阶段结构限制而无法高效求解。