[论文解读] Vision Paper: Towards an Understanding of the Limits of Map-Reduce Computation

Foto Afrati, Anish Das Sarma+2 more|arXiv (Cornell University)|Apr 8, 2012

Graph Theory and Algorithms参考文献 9被引用 23

一句话总结

本文提出一个形式化模型，通过定义复制率（即输入被发送到的平均减少器数量）来分析 map-reduce 计算的极限。它为汉明距离-1 和三角形查找等问题建立了紧致的复制率下界，表明更高的并行度（每个减少器的输入更少）会迫使复制率增加，并展示了能够达到这些下界的算法，揭示了 map-reduce 系统中并行度与通信成本之间的固有权衡。

ABSTRACT

A significant amount of recent research work has addressed the problem of solving various data management problems in the cloud. The major algorithmic challenges in map-reduce computations involve balancing a multitude of factors such as the number of machines available for mappers/reducers, their memory requirements, and communication cost (total amount of data sent from mappers to reducers). Most past work provides custom solutions to specific problems, e.g., performing fuzzy joins in map-reduce, clustering, graph analyses, and so on. While some problems are amenable to very efficient map-reduce algorithms, some other problems do not lend themselves to a natural distribution, and have provable lower bounds. Clearly, the ease of "map-reducability" is closely related to whether the problem can be partitioned into independent pieces, which are distributed across mappers/reducers. What makes a problem distributable? Can we characterize general properties of problems that determine how easy or hard it is to find efficient map-reduce algorithms? This is a vision paper that attempts to answer the questions described above.

研究动机与目标

• 为了理解 map-reduce 计算的根本极限，特别是并行度与通信成本之间的权衡。
• 通过建模输入-输出关系，形式化 map-reduce 中数据管理问题的‘可分布性’概念。
• 将复制率量化为 map-reduce 中通信开销和算法效率的关键指标。
• 为特定问题推导出复制率的可证明下界，表明在实现高并行度方面存在固有局限。
• 展示已知的三角形查找和汉明距离-1 等问题的算法在复制率上接近这些理论下界。

提出的方法

• 提出一个形式化模型，其中问题由有限的输入集和输出集定义，每个输出映射到特定的输入集合，以捕捉数据溯源关系。
• 引入复制率作为输入被发送到的平均减少器数量，与通信成本直接相关。
• 对汉明距离-1 问题采用几何方法：将字符串建模为超立方体中的点，并通过分析边界点来计算复制率。
• 对三角形查找问题应用组合分析：在给定 q 个输入的前提下，通过大小为 k 的完全子图来界定一个减少器最多能覆盖的三角形数量。
• 通过结合总输入数 |I|、输出数 |O| 以及每个减少器的最大输出覆盖能力 g(q)，推导出复制率的下界，得到 ∑q_i / |I| ≥ n / √(2q)。
• 将该框架推广至多路连接，证明 m 元连接在 a 元关系上的界为 O(q^{1−m/a}n^{m−a})。

实验结果

研究问题

• RQ1 问题的何种结构性质决定了其在 map-reduce 模型中高效计算的固有难度？
• RQ2 对于基础问题，复制率（即输入被发送到的平均减少器数量）如何随并行度的增加（即每个减少器的输入减少）而变化？
• RQ3 能否使用统一的形式化方法，为汉明距离-1 和三角形查找等问题推导出复制率的紧致下界？
• RQ4 已知的 map-reduce 算法在三角形查找和相似性连接问题上的复制率在多大程度上接近复制率的理论下界？
• RQ5 该模型如何推广以捕捉多路连接及其他复杂数据管理操作？

主要发现

• 对于汉明距离-1 问题，复制率的下界为 1 + d/k，其中 d 为字符串长度，k 为每个减少器的位数，通过超立方体划分可达到紧致下界。
• 在三角形查找问题中，复制率的下界为 r ≥ n / √(2q)，其中 n 为节点数，q 为每个减少器的最大输入数，该下界源于对三角形覆盖能力的组合边界分析。
• 该模型表明，随着并行度提高（q 减小），复制率必须增长，表明存在不可避免的通信成本权衡。
• 已知的三角形查找算法在复制率上与理论下界仅相差一个常数因子，证实了所推导极限的紧致性。
• 该框架可推广至多路连接，得到 m 元连接在 a 元关系上的界为 O(q^{1−m/a}n^{m−a})，表明该权衡具有广泛适用性。
• 该模型有效捕捉了包括自然连接、分组聚合求和、相似性连接和图模式匹配在内的多种问题，展示了其广泛的适用性。