[论文解读] Scheduling Bag-of-Tasks in Clouds using Spot and Burstable Virtual Machines

Luan Teylo, Luciana Arantes+2 more|arXiv (Cornell University)|Nov 10, 2020

Cloud Computing and Resource Management参考文献 16被引用 7

一句话总结

本文提出Burst-HADS，一种动态调度器，通过结合抢占式虚拟机（spot VMs）与可突发虚拟机（burstable VMs），在云环境中最小化面向任务集合（bag-of-tasks）应用的运行成本与执行时间。通过采用基于ILS的任务调度机制，并在抢占式虚拟机进入休眠状态时动态执行任务迁移或工作窃取，Burst-HADS相较于仅使用按需虚拟机的调度方式，平均将成本降低30.96%，使完成时间（makespan）减少25.87%，即使在高休眠率下也能满足严格的截止时间要求。

ABSTRACT

Leading Cloud providers offer several types of Virtual Machines (VMs) in diverse contract models, with different guarantees in terms of availability and reliability. Among them, the most popular contract models are the on-demand and the spot models. In the former, on-demand VMs are allocated for a fixed cost per time unit, and their availability is ensured during the whole execution. On the other hand, in the spot market, VMs are offered with a huge discount when compared to the on-demand VMs, but their availability fluctuates according to the cloud's current demand that can terminate or hibernate a spot VM at any time. Furthermore, in order to cope with workload variations, cloud providers have also introduced the concept of burstable VMs which are able to burst up their respective baseline CPU performance during a limited period of time with an up to 20% discount when compared to an equivalent non-burstable on-demand VMs. In the current work, we present the Burst Hibernation-Aware Dynamic Scheduler (Burst-HADS), a framework that schedules and executes tasks of Bag-of-Tasks applications with deadline constraints by exploiting spot and on-demand burstable VMs, aiming at minimizing both the monetary cost and the execution time. Based on ILS metaheuristics, Burst-HADS defines an initial scheduling map of tasks to VMs which can then be dynamically altered by migrating tasks of a hibernated spot VM or by performing work-stealing when VMs become idle. Performance results on Amazon EC2 cloud with different applications show that, when compared to a solution that uses only regular on-demand instances, Burst-HADS reduces the monetary cost of the execution and meet the application deadline even in scenarios with high spot hibernation rates. It also reduces the total execution time when compared to a solution that uses only spot and non-burstable on-demand instances.

研究动机与目标

• 解决在基于云的任务集合工作负载中，最小化运行成本与满足执行截止时间之间的权衡问题。
• 通过整合低成本的抢占式虚拟机与高性价比的可突发虚拟机，降低对昂贵按需虚拟机的依赖。
• 设计一种动态调度器，能够在抢占式虚拟机休眠事件发生时自适应调整，且不违反应用的截止时间约束。
• 通过智能的任务迁移与工作负载均衡，同时最小化执行时间（完成时间）与运行成本。
• 在真实AWS EC2场景下评估该框架，涵盖不同休眠率与恢复率的配置。

提出的方法

• Burst-HADS使用迭代局部搜索（Iterated Local Search, ILS）元启发式算法，为任务集合应用生成初始的任务到虚拟机的映射。
• 调度器在抢占式虚拟机进入休眠状态时，动态将任务迁移至可用的按需或可突发虚拟机，以防止执行延迟。
• 通过工作窃取机制将空闲任务重新分配至活跃虚拟机，提升负载均衡性，减少完成时间。
• 在突发模式下使用可突发虚拟机以应对工作负载高峰，利用累积的CPU信用实现超出基线性能的处理能力。
• 仅在必要时才延迟迁移操作，以最小化开销并最大化成本节约，优先保障成本效率。
• 通过监控抢占式虚拟机的休眠与恢复模式，做出更优的调度决策，减少新虚拟机的启动次数。

实验结果

研究问题

• RQ1 使用抢占式与可突发虚拟机的混合调度器，是否能在满足严格截止时间约束的前提下，降低任务集合应用的运行成本？
• RQ2 动态任务迁移与工作窃取机制，如何缓解抢占式虚拟机休眠对执行时间与成本的影响？
• RQ3 在高休眠率场景下，结合使用可突发虚拟机与抢占式虚拟机会带来怎样的成本节约与完成时间增加之间的权衡？
• RQ4 与仅使用按需虚拟机的基线调度器相比，Burst-HADS在成本与完成时间方面的性能表现如何？
• RQ5 与仅使用抢占式与按需虚拟机的调度器相比，使用可突发虚拟机在多大程度上提升了完成时间的减少效果？

主要发现

• 与仅使用按需虚拟机的调度相比，Burst-HADS平均将运行成本降低41.80%，在场景$sc_2$中最低降幅为30.96%。
• 与ILS-按需基线相比，Burst-HADS在所有场景中平均将完成时间减少25.87%，小规模任务的最高减少幅度达40.10%。
• 尽管存在迁移开销，与按需基线相比，所有执行的平均完成时间仅增加1.92%。
• 在高休眠率场景（$sc_2$，$k_h=5$ 且 $k_r=0$）下，Burst-HADS在成本降低方面优于HADS框架，分别实现30.96%与26.66%的降幅。
• 如J60等小规模任务因具有更高的空闲时间与更频繁的工作窃取，从可突发虚拟机中获益更多，完成时间最高可减少40.10%。
• 通过延迟迁移与利用可突发虚拟机实现性能突增，调度器在所有场景中均保持了对截止时间的合规性，即使在高休眠率下亦然。