[论文解读] Optimization and analysis of large scale data sorting algorithm based on Hadoop

Zhuo Wang, Longlong Tian+2 more|arXiv (Cornell University)|Jun 1, 2015

Graph Theory and Algorithms参考文献 2被引用 4

一句话总结

本文提出了一种基于多轮MapReduce的排序算法，针对Hadoop中的大规模数据进行了优化，通过随机采样和在Reducer之间均匀分布数据，减少了负载不平衡。实验表明，该算法在处理海量数据时，其效率和可扩展性均优于原生Hadoop shuffle排序。

ABSTRACT

When dealing with massive data sorting, we usually use Hadoop which is a framework that allows for the distributed processing of large data sets across clusters of computers using simple programming models. A common approach in implement of big data sorting is to use shuffle and sort phase in MapReduce based on Hadoop. However, if we use it directly, the efficiency could be very low and the load imbalance can be a big problem. In this paper we carry out an experimental study of an optimization and analysis of large scale data sorting algorithm based on hadoop. In order to reach optimization, we use more than 2 rounds MapReduce. In the first round, we use a MapReduce to take sample randomly. Then we use another MapReduce to order the data uniformly, according to the results of the first round. If the data is also too big, it will turn back to the first round and keep on. The experiments show that, it is better to use the optimized algorithm than shuffle of MapReduce to sort large scale data.

研究动机与目标

• 解决Hadoop原生shuffle排序在大规模数据处理中效率低下和负载不平衡的问题。
• 设计一种可扩展的分布式排序算法，最大限度减少数据倾斜并提升排序吞吐量。
• 在不同数据规模下，评估所提算法与标准Hadoop MapReduce排序的性能表现。
• 分析采样和数据分布策略在集群环境中对排序效率的影响。

提出的方法

• 该算法采用多轮MapReduce处理：第一轮对数据集进行随机采样，以估计数据分布。
• 第二轮MapReduce利用采样结果确定分区边界，从而实现数据在Reducer之间更均匀的分布。
• 若初始分区后数据仍过大，则重复采样和分区步骤，迭代执行直至数据可被合理划分到各分区中。
• 该方法基于Hadoop的MapReduce模型，但修改了分区逻辑，以减少数据倾斜并提升负载均衡性。
• 该方法避免依赖Hadoop默认的基于哈希的分区方式，后者在大规模排序中常导致Reducer负载不均。
• 该算法使用标准Hadoop API实现，其自定义分区逻辑基于采样数据的统计信息。

实验结果

研究问题

• RQ1 与Hadoop默认shuffle相比，多轮采样和分区如何提升大规模数据处理中的排序性能？
• RQ2 所提算法在大规模排序过程中，能在多大程度上减少Reducer之间的负载不平衡？
• RQ3 该优化算法在执行时间与资源利用率方面带来了多大的性能提升？
• RQ4 随着数据量增加，该算法的可扩展性如何？何时需要引入迭代采样？

主要发现

• 通过采样数据指导Reducer之间的均匀分区，该优化算法显著减少了负载不平衡。
• 性能评估表明，所提方法在执行时间和可扩展性方面均优于原生Hadoop shuffle排序。
• 通过多轮MapReduce处理并结合迭代采样，该算法能够有效处理远超单轮处理能力的超大规模数据集。
• 通过用基于采样的范围分区替代默认的哈希分区，该算法实现了更优的数据分布和更高的吞吐量。