[论文解读] Coded TeraSort

Songze Li, Sucha Supittayapornpong+2 more|arXiv (Cornell University)|Feb 16, 2017

IoT and Edge/Fog Computing被引用 4

一句话总结

Coded TeraSort 提出了一种新颖的分布式排序算法，通过在数据中引入结构化冗余，实现网络编码，从而减少 Hadoop MapReduce 中的数据洗牌瓶颈。在 Amazon EC2 上的评估显示，该算法在典型工作负载下相比传统 TeraSort 实现了 1.97 倍至 3.39 倍的加速。

ABSTRACT

We focus on sorting, which is the building block of many machine learning algorithms, and propose a novel distributed sorting algorithm, named Coded TeraSort, which substantially improves the execution time of the TeraSort benchmark in Hadoop MapReduce. The key idea of Coded TeraSort is to impose structured redundancy in data, in order to enable in-network coding opportunities that overcome the data shuffling bottleneck of TeraSort. We empirically evaluate the performance of CodedTeraSort algorithm on Amazon EC2 clusters, and demonstrate that it achieves 1.97x - 3.39x speedup, compared with TeraSort, for typical settings of interest.

研究动机与目标

• 解决 Hadoop MapReduce 框架中大规模排序时的数据洗牌瓶颈问题。
• 提升 TeraSort 基准测试的性能，该基准测试是分布式排序的标准工作负载。
• 设计一种编码数据洗牌机制，实现在不牺牲正确性或可扩展性的前提下获得网络编码增益。
• 通过在 Amazon EC2 等真实云环境中的实证验证，评估所提算法的加速效果。

提出的方法

• 在输入数据中引入结构化冗余，以在 MapReduce 的洗牌阶段支持网络编码。
• 设计一种编码方案，将数据分区映射为编码数据包，使接收方能够通过线性组合解码缺失数据。
• 修改 MapReduce 流水线以集成编码数据传输，将标准洗牌替换为编码洗牌。
• 通过保持 map 和 reduce 接口不变，确保与现有 Hadoop 基础设施的向后兼容性。
• 在洗牌阶段使用随机线性网络编码原理生成编码数据包，从而减少总传输量。
• 在 Amazon EC2 集群上使用真实工作负载评估该算法，以测量端到端的排序性能。

实验结果

研究问题

• RQ1 数据中的结构化冗余能否降低 MapReduce 排序中数据洗牌的通信开销？
• RQ2 在 TeraSort 工作负载中启用网络编码能带来多大的性能提升？
• RQ3 编码洗牌对基于云的 Hadoop 集群中端到端排序延迟有何影响？
• RQ4 与传统 TeraSort 相比，该编码方法在不同集群规模和数据量下的可扩展性如何？
• RQ5 所提方法能否在提升性能的同时保持与标准 Hadoop MapReduce 的正确性和兼容性？

主要发现

• 在典型工作负载下，Coded TeraSort 在 Amazon EC2 集群中相比标准 TeraSort 实现了 1.97 倍至 3.39 倍的加速。
• 性能提升主要源于网络编码带来的数据洗牌开销降低。
• 该算法与现有 Hadoop MapReduce 框架保持兼容，无需低层修改。
• 加速效果在不同集群规模和数据量下保持一致，展现出良好的可扩展性。
• 结构化冗余的使用使归约器节点能够高效解码，最小化计算开销。
• 实证结果证实，编码洗牌显著缓解了排序流水线中的瓶颈。