[论文解读] Hadoop Scheduling Base On Data Locality

Bo Jiang, Jiaying Wu+2 more|arXiv (Cornell University)|Jun 1, 2015

Cloud Computing and Resource Management参考文献 3被引用 5

一句话总结

本文提出了一种面向数据局部性的Hadoop调度算法，通过资源预取机制提升任务局部性并减少作业完成时间。通过估算任务完成时间并在任务执行前预先将数据块传输至候选节点，该方法确保了更好的数据局部性，并在实验中实现了可测量的性能提升。

ABSTRACT

In hadoop, the job scheduling is an independent module, users can design their own job scheduler based on their actual application requirements, thereby meet their specific business needs. Currently, hadoop has three schedulers: FIFO, computing capacity scheduling and fair scheduling policy, all of them are take task allocation strategy that considerate data locality simply. They neither support data locality well nor fully apply to all cases of jobs scheduling. In this paper, we took the concept of resources-prefetch into consideration, and proposed a job scheduling algorithm based on data locality. By estimate the remaining time to complete a task, compared with the time to transfer a resources block, to preselect candidate nodes for task allocation. Then we preselect a non-local map tasks from the unfinished job queue as resources-prefetch tasks. Getting information of resources blocks of preselected map task, select a nearest resources blocks from the candidate node and transferred to local through network. Thus we would ensure data locality good enough. Eventually, we design a experiment and proved resources-prefetch method can guarantee good job data locality and reduce the time to complete the job to a certain extent.

研究动机与目标

• 解决现有Hadoop调度器（FIFO、Capacity、Fair）在有效支持数据局部性方面的局限性。
• 通过主动的数据放置减少数据传输开销，提升作业调度效率。
• 设计一种调度机制，基于数据局部性和估算的任务完成时间，动态选择最优节点进行任务分配。
• 评估资源预取在维持高数据局部性和减少整体作业执行时间方面的有效性。

提出的方法

• 引入一种资源预取机制，从未完成作业队列中识别非本地Map任务作为早期数据传输的候选对象。
• 估算任务剩余完成时间，并与网络中传输数据块所需时间进行比较。
• 基于接近度和网络成本，从候选节点中选择最近的数据块，预先传输至目标节点。
• 通过评估数据局部性和传输时间，预先选择任务分配节点，确保任务执行前数据已在本地可用。
• 采用结合任务完成时间估算与网络感知数据传输的混合策略，以优化调度决策。
• 采用反馈驱动方法，根据实时集群状态和任务进度动态更新调度选择。

实验结果

研究问题

• RQ1 资源预取是否能在Hadoop作业调度中实现超越现有调度器的数据局部性提升？
• RQ2 估算任务完成时间如何影响数据传输和任务分配决策的效率？
• RQ3 在分布式Hadoop环境中，预先传输数据块在多大程度上能减少作业完成时间？
• RQ4 所提出方法是否能在多样化的作业工作负载和集群配置下维持良好的数据局部性？
• RQ5 数据传输成本与任务执行时间之间的权衡如何影响调度性能？

主要发现

• 所提出的资源预取方法通过在任务执行前主动将数据块移动至候选节点，显著提升了数据局部性。
• 实验评估显示作业完成时间得以减少，证明了该方法在真实工作负载中的有效性。
• 该算法通过更优地平衡数据局部性与网络传输成本，在性能上优于传统调度器。
• 即使在动态和异构的集群条件下，该方法仍能维持高数据局部性。
• 基于估算完成时间和传输成本的任务调度决策，带来了更高效的资源利用率。