[论文解读] Aryl: An Elastic Cluster Scheduler for Deep Learning

Jiamin Li, Hong Xu+4 more|arXiv (Cornell University)|Feb 16, 2022

Cloud Computing and Resource Management被引用 5

一句话总结

Aryl 是一种新型的集群调度器，通过动态扩展和智能抢占启发式算法，实现将空闲推理GPU集群的弹性容量借给训练任务，从而降低排队时间并提高资源利用率。与基线调度器相比，Aryl 将平均排队时间减少1.53倍，任务完成时间减少1.50倍，在大规模仿真中集群利用率最高提升26.9%。

ABSTRACT

Companies build separate training and inference GPU clusters for deep learning, and use separate schedulers to manage them. This leads to problems for both training and inference: inference clusters have low GPU utilization when the traffic load is low; training jobs often experience long queueing time due to lack of resources. We introduce Aryl, a new cluster scheduler to address these problems. Aryl introduces capacity loaning to loan idle inference GPU servers for training jobs. It further exploits elastic scaling that scales a training job's GPU allocation to better utilize loaned resources. Capacity loaning and elastic scaling create new challenges to cluster management. When the loaned servers need to be returned, we need to minimize the number of job preemptions; when more GPUs become available, we need to allocate them to elastic jobs and minimize the job completion time (JCT). Aryl addresses these combinatorial problems using principled heuristics. It introduces the notion of server preemption cost which it greedily reduces during server reclaiming. It further relies on the JCT reduction value defined for each additional worker for an elastic job to solve the scheduling problem as a multiple-choice knapsack problem. Prototype implementation on a 64-GPU testbed and large-scale simulation with 15-day traces of over 50,000 production jobs show that Aryl brings 1.53x and 1.50x reductions in average queuing time and JCT, and improves cluster usage by up to 26.9% over the cluster scheduler without capacity loaning or elastic scaling.

研究动机与目标

• 解决非高峰时段推理集群GPU利用率低下以及因资源稀缺导致的训练任务长时间排队问题。
• 通过容量借用机制，实现在低负载期间将空闲推理GPU服务器动态共享给训练工作负载。
• 在回收服务器时最小化任务抢占成本，并在弹性训练任务扩展时减少任务完成时间（JCT）。
• 设计一种能高效处理异构GPU可用性和可变任务资源需求的调度系统。
• 在保持训练任务低排队延迟的同时，提升整体集群利用率。

提出的方法

• 引入容量借用机制，允许在低流量时段将空闲推理GPU服务器临时分配给训练任务。
• 采用弹性扩展机制，使训练任务可根据可用资源动态增加或减少GPU工作节点数量。
• 采用两阶段调度策略：首先分配基础（非弹性）资源需求，然后通过多选背包问题公式化方法扩展弹性任务，以最小化JCT。
• 应用基于背包问题的启发式算法，考虑项目间依赖的价值，以最小化服务器回收时的抢占成本，优先选择抢占影响较小的任务。
• 采用最大适应递减策略进行工作节点-服务器映射，以减少异构GPU服务器间的碎片化。
• 利用运行时间预测，并在估计误差下验证系统的鲁棒性，即使在预测错误高达60%的情况下仍能保持性能优势。

实验结果

研究问题

• RQ1 在不影响推理服务质量的前提下，能否有效将空闲推理GPU集群借给训练任务？
• RQ2 在流量高峰期间回收借用服务器时，如何最小化抢占成本？
• RQ3 如何最优地为弹性训练任务分配额外GPU，以最小化任务完成时间？
• RQ4 调度器如何处理具有异构GPU可用性和不同资源需求的非弹性与弹性任务共存的情况？
• RQ5 调度器对任务运行时间估计不准确的鲁棒性如何？

主要发现

• 与无容量借用或弹性扩展的基线调度器相比，Aryl 将平均排队时间减少1.53倍，任务完成时间减少1.50倍。
• 在使用超过50,000个生产任务15天的追踪数据进行的大规模仿真中，集群利用率最高提升26.9%。
• 即使运行时间预测错误高达60%（误差范围在25%以内），Aryl 仍比基线调度器将排队延迟减少1.76倍。
• 基于背包问题的抢占启发式算法能有效降低服务器回收时的抢占成本，最大限度减少任务中断。
• 用于扩展弹性任务的多选背包问题公式化方法在实践中成功最小化了JCT，通常可通过动态规划求解。
• 该系统对预测误差具有鲁棒性，并在真实工作负载条件下保持显著的性能优势。