[论文解读] Meta-MapReduce: A Technique for Reducing Communication in MapReduce Computations

Foto Afrati, Shlomi Dolev+2 more|arXiv (Cornell University)|Aug 5, 2015

Graph Theory and Algorithms参考文献 13被引用 8

一句话总结

本文提出 Meta-MapReduce，一种通过仅传输元数据而非完整数据值来降低分布式 MapReduce 计算中通信成本的技术。通过在 map 和 reduce 阶段处理元数据，它最小化了数据传输，尤其在仅输入数据的子集对最终输出有贡献时，显著降低了通信开销，适用于等值连接、k-NN 和最短路径计算等工作负载。

ABSTRACT

MapReduce has proven to be one of the most useful paradigms in the revolution of distributed computing, where cloud services and cluster computing become the standard venue for computing. The federation of cloud and big data activities is the next challenge where MapReduce should be modified to avoid (big) data migration across remote (cloud) sites. This is exactly our scope of research, where only the very essential data for obtaining the result is transmitted, reducing communication, processing and preserving data privacy as much as possible. In this work, we propose an algorithmic technique for MapReduce algorithms, called Meta-MapReduce, that decreases the communication cost by allowing us to process and move metadata to clouds and from the map phase to reduce phase. In Meta-MapReduce, the reduce phase fetches only the required data at required iterations, which in turn, assists in preserving the data privacy.

研究动机与目标

• 解决当数据与计算位于远程位置时 MapReduce 中高通信成本的问题，特别是当仅部分数据对最终输出有贡献时。
• 通过最小化原始数据在云和分布式站点之间的传输来保护数据隐私。
• 通过减少数据移动来提高多轮次和地理分布式 MapReduce 计算的效率。
• 提供一种可扩展的算法技术，在大幅降低通信开销的同时保持正确性。
• 在真实问题（如等值连接、k-NN 和图的最短路径）上展示该技术的有效性。

提出的方法

• 该方法用元数据传输替代完整数据传输，其中元数据捕获数据字段的关键结构或语义信息。
• 在 map 阶段处理元数据以预先过滤或汇总数据，从而减少发送给 reducer 的数据量。
• reducer 基于元数据确定需要哪些完整数据项，并在后续步骤中仅获取这些数据。
• 该方法使用 reducer 容量约束（q）来限制 reducer 可处理的输入大小，确保可扩展性。
• 通过在多轮迭代中支持基于元数据的剪枝，该技术可集成到迭代式 MapReduce 工作流中。
• 通过扩展 map 和 reduce 阶段以支持元数据感知处理，与现有 MapReduce 框架无缝集成。

实验结果

研究问题

• RQ1 当数据与计算在地理上分离时，如何降低 MapReduce 中的通信成本？
• RQ2 在不牺牲正确性或性能的前提下，元数据在多大程度上可以替代 MapReduce 中的完整数据传输？
• RQ3 Meta-MapReduce 是否能显著降低多轮 MapReduce 工作流（如 k-NN 和最短路径）中的通信量？
• RQ4 Meta-MapReduce 如何通过最小化原始数据传输来保护数据隐私？
• RQ5 与经典 MapReduce 相比，Meta-MapReduce 在等值连接等常见操作中的理论通信成本降低了多少？

主要发现

• 在两个关系的等值连接中，Meta-MapReduce 的通信成本最多降低至 2nc + h(c + w) 位，而经典 MapReduce 为 4nw 位。
• 当 k ≤ m 时，k-NN 中的通信成本降低尤为显著，此时仅需传输 S 个元组的元数据，而非完整元组。
• 在社交网络中的最短路径计算中，Meta-MapReduce 避免了无关照片和节点的传输，仅传输必要的元数据。
• 该技术通过最小化部分输出在不同集群间的跨集群数据传输，实现了对地理分布数据的高效处理。
• Meta-MapReduce 通过在多轮 MapReduce 中支持基于元数据的剪枝，减少了冗余数据移动。
• 该方法在保持正确性的同时，实现了传输数据量的指数级减少，尤其当仅一小部分输入对最终输出有贡献时。