[论文解读] DRESS: Dynamic RESource-reservation Scheme for Congested Data-intensive Computing Platforms

Ying Mao, Victoria Green+3 more|arXiv (Cornell University)|May 21, 2018

Cloud Computing and Resource Management被引用 5

一句话总结

DRESS 是一种用于数据密集型计算平台的动态资源预留方案，该方案将作业分类为小需求和大需求两类，分别为其预留专用资源，并根据实时作业需求和估计的释放模式动态调整预留比例。该方案将小作业的平均完成时间最多减少 76.1%，同时在 Hadoop YARN 上保持了稳定的整体系统性能。

ABSTRACT

In the past few years, we have envisioned an increasing number of businesses start driving by big data analytics, such as Amazon recommendations and Google Advertisements. At the back-end side, the businesses are powered by big data processing platforms to quickly extract information and make decisions. Running on top of a computing cluster, those platforms utilize scheduling algorithms to allocate resources. An efficient scheduler is crucial to the system performance due to limited resources, e.g. CPU and Memory, and a large number of user demands. However, besides requests from clients and current status of the system, it has limited knowledge about execution length of the running jobs, and incoming jobs' resource demands, which make assigning resources a challenging task. If most of the resources are occupied by a long-running job, other jobs will have to keep waiting until it releases them. This paper presents a new scheduling strategy, named DRESS that particularly aims to optimize the allocation among jobs with various demands. Specifically, it classifies the jobs into two categories based on their requests, reserves a portion of resources for each of category, and dynamically adjusts the reserved ratio by monitoring the pending requests and estimating release patterns of running jobs. The results demonstrate DRESS significantly reduces the completion time for one category, up to 76.1% in our experiments, and in the meanwhile, maintains a stable overall system performance.

研究动机与目标

• 为解决在拥堵的数据密集型集群中，小资源需求作业存在长等待时间和性能差的问题。
• 在不降低整体系统稳定性的情况下，减少小需求作业的完成时间。
• 设计一种能够根据实时作业队列动态和资源释放模式自适应调整的动态资源预留机制。
• 在 Hadoop YARN 环境中实现并评估一种能够提升并行性和资源利用率的调度器。

提出的方法

• 根据资源需求将进入的作业分为两类：小和大。
• 使用动态预留比例，为每类作业预留可配置的系统资源部分。
• 根据对挂起作业需求的实时监控和运行中作业的估计释放时间，动态调整预留比例。
• 采用资源释放模式估计，预测运行中的作业何时会释放资源。
• 使用算法 3 根据队列中小作业的比例来控制预留比例。
• 在 Hadoop YARN 平台上实现该方案，对 MapReduce 和 Spark 工作负载进行端到端评估。

实验结果

研究问题

• RQ1 在高拥堵的数据密集型集群中，如何改进小需求作业的资源分配？
• RQ2 动态资源预留对作业完成时间和整体系统性能有何影响？
• RQ3 基于实时作业队列和释放模式调整预留比例，如何影响调度效率？
• RQ4 动态资源预留在不损害大作业或整体系统稳定性的情况下，能在多大程度上减少小作业的等待时间？

主要发现

• 在小作业占比 40% 的混合工作负载中，DRESS 将小作业的平均完成时间最多减少 76.1%。
• 在 Spark-on-YARN 实验中，小作业的平均完成时间减少了 51.2%，最大减少达 76.1%。
• 在 Hadoop YARN 实验中，小作业的平均完成时间减少了 25.7%（共 20 个作业）。
• 整体系统完成时间保持稳定，DRESS 的完成时间为 1035.2 秒，而容量调度器（Capacity scheduler）为 1028.6 秒。
• 尽管部分大作业（如作业 7）的完成时间有所增加（最长延长 29.3%），但 20 个作业中有 12 个作业的平均完成时间减少了 18.5%。
• 该策略显著改善了作业 9、12 和 13 的性能，其完成时间分别减少了 23.2%、17.5% 和 10.0%。