[논문 리뷰] Scheduling Bag-of-Tasks in Clouds using Spot and Burstable Virtual Machines

Luan Teylo, Luciana Arantes외 2명|arXiv (Cornell University)|2020. 11. 10.

Cloud Computing and Resource Management참고 문헌 16인용 수 7

한 줄 요약

이 논문은 구름 환경에서 작업 집합(workload) 애플리케이션의 비용과 실행 시간을 최소화하기 위해 스팟 가상 머신과 버스트 가능 가상 머신을 조합한 동적 스케줄러인 Burst-HADS를 제안한다. ILS 기반 작업 스케줄링과 스팟 VM의 일시정지 상태 발생 시 동적 워크스틸링 또는 작업 이관을 통해 Burst-HADS는 단일으로 온디맨드 VM만 사용하는 경우에 비해 평균적으로 비용을 30.96% 감소시키고, 메이크스팬(makespan)을 25.87% 감소시킨다. 또한 높은 일시정지 비율 조건에서도 엄격한 마감 시간을 준수한다.

ABSTRACT

Leading Cloud providers offer several types of Virtual Machines (VMs) in diverse contract models, with different guarantees in terms of availability and reliability. Among them, the most popular contract models are the on-demand and the spot models. In the former, on-demand VMs are allocated for a fixed cost per time unit, and their availability is ensured during the whole execution. On the other hand, in the spot market, VMs are offered with a huge discount when compared to the on-demand VMs, but their availability fluctuates according to the cloud's current demand that can terminate or hibernate a spot VM at any time. Furthermore, in order to cope with workload variations, cloud providers have also introduced the concept of burstable VMs which are able to burst up their respective baseline CPU performance during a limited period of time with an up to 20% discount when compared to an equivalent non-burstable on-demand VMs. In the current work, we present the Burst Hibernation-Aware Dynamic Scheduler (Burst-HADS), a framework that schedules and executes tasks of Bag-of-Tasks applications with deadline constraints by exploiting spot and on-demand burstable VMs, aiming at minimizing both the monetary cost and the execution time. Based on ILS metaheuristics, Burst-HADS defines an initial scheduling map of tasks to VMs which can then be dynamically altered by migrating tasks of a hibernated spot VM or by performing work-stealing when VMs become idle. Performance results on Amazon EC2 cloud with different applications show that, when compared to a solution that uses only regular on-demand instances, Burst-HADS reduces the monetary cost of the execution and meet the application deadline even in scenarios with high spot hibernation rates. It also reduces the total execution time when compared to a solution that uses only spot and non-burstable on-demand instances.

연구 동기 및 목표

• 클라우드 기반 작업 집합 워크로드에서 비용 최소화와 마감 시간 준수 사이의 상충 관계를 해결하기 위해.
• 낮은 비용의 스팟 VM과 비용 효율적인 버스트 가능 VM을 통합하여 고비용의 온디맨드 VM에 대한 의존도를 줄이기 위해.
• 스팟 VM의 일시정지 이벤트에 대응할 수 있는 동적 스케줄러를 설계하여 애플리케이션의 마감 시간을 위반하지 않도록 하기 위해.
• 지능적인 작업 이동 및 워크로드 밸런싱을 통해 실행 시간(makespan)과 비용을 동시에 최소화하기 위해.
• 다양한 일시정지 및 재시작 비율을 가진 실제 AWS EC2 환경에서 프레임워크의 성능을 평가하기 위해.

제안 방법

• Burst-HADS는 작업 집합 애플리케이션의 초기 작업-VM 매핑을 생성하기 위해 반복 국소 탐색(Iterated Local Search, ILS) 메타휴리스틱을 사용한다.
• 스케줄러는 일시정지된 스팟 VM의 작업을 이용 가능한 온디맨드 또는 버스트 가능 VM으로 동적으로 이관하여 실행 지연을 방지한다.
• 활동 중인 VM 간에 유휴 작업을 재분배하는 워크스틸링 메커니즘을 적용하여 로드 밸런싱을 향상시키고 메이크스팬을 감소시킨다.
• 버스트 가능 VM은 워크로드 피크를 처리하기 위해 버스트 모드로 활용되며, 누적된 CPU 크레딧을 활용해 기본 성능을 초월한 성능을 제공한다.
• 프레임워크는 이관 오버헤드를 최소화하고 비용 절감을 극대화하기 위해 필요할 때까지 이관을 연기한다. 이는 비용 효율성 우선 원칙을 반영한다.
• 스팟 VM의 일시정지 및 재시작 패턴을 모니터링하여 정보 기반의 스케줄링 결정을 내리며, 새로운 VM 생성 수를 최소화한다.

실험 결과

연구 질문

• RQ1 스팟 및 버스트 가능 VM을 사용하는 하이브리드 스케줄러가 작업 집합 애플리케이션의 엄격한 마감 시간 제약 조건을 준수하면서도 비용을 절감할 수 있는가?
• RQ2 동적 작업 이동 및 워크스틸링은 스팟 VM의 일시정지가 실행 시간과 비용에 미치는 영향을 어떻게 완화하는가?
• RQ3 고일시정지 비율 상황에서 버스트 가능 VM을 스팟 VM과 함께 사용할 경우 비용 절감과 메이크스팬 증가 사이의 상충 관계는 어떠한가?
• RQ4 Burst-HADS의 성능은 비용과 메이크스팬 측면에서 기준 온디맨드 전용 스케줄러와 비교해 어떻게 다른가?
• RQ5 버스트 가능 VM을 사용할 경우, 단지 스팟 및 온디맨드 VM만 사용하는 스케줄러에 비해 메이크스팬 감소에 얼마나 기여하는가?

주요 결과

• Burst-HADS는 온디맨드 전용 스케줄링 대비 평균 41.80%의 비용 절감을 이룩했으며, $sc_2$ 시나리오에서는 최소 30.96%의 절감을 기록했다.
• 모든 시나리오에서 ILS-온디맨드 기반 기준 대비 메이크스팬을 평균 25.87% 감소시켰으며, 소형 작업에 대해서는 최대 40.10%의 감소를 기록했다.
• 이주 오버헤드가 존재함에도 불구하고, 모든 실행에 대한 평균 메이크스팬 증가는 온디맨드 기준 대비 단지 1.92%에 그쳤다.
• 고일시정지 시나리오($sc_2$에서 $k_h=5$ 및 $k_r=0$)에서는 Burst-HADS가 HADS 프레임워크를 능가하여 비용을 30.96% 감소시켰고, HADS는 26.66% 감소에 그쳤다.
• J60과 같은 소형 작업은 더 많은 유휴 시간과 빈번한 워크스틸링으로 인해 버스트 가능 VM의 이점을 더 크게 누리며 최대 40.10%의 메이크스팬 감소를 달성했다.
• 스케줄러는 일시정지를 연기하고 버스트 가능 VM의 성능 버스트를 활용함으로써, 고일시정지 비율 조건에서도 모든 시나리오에서 마감 시간 준수를 유지했다.