[논문 리뷰] Energy-efficient workflow scheduling based on workflow structures under deadline and budget constraints in the cloud

Jean Etienne Ndamlabin Mboula, V. C. Kamla외 2명|arXiv (Cornell University)|2022. 01. 14.

Distributed and Parallel Computing Systems인용 수 5

한 줄 요약

이 논문은 마감일 및 예산 제약 조건 하에서 최적의 가상 머신 인스턴스 유형과 최소 가상 머신 수를 결정하기 위해 워크플로우 구조를 활용하는 에너지 효율적인 워크플로우 스케줄링 알고리즘인 SMWSO와 SMWSH를 제안한다. 구조적 특성에 초점을 맞추고 동적 전압 및 주파수 스케일링(DVFS)을 적용함으로써, 상태의 최고 수준인 REEWS 대비 80%의 워크플로우 시나리오에서 50% 이상의 에너지 소비 감소를 달성한다.

ABSTRACT

The utilization of cloud environments to deploy scientific workflow applications is an emerging trend in scientific community. In this area, the main issue is the scheduling of workflows, which is known as an NP-complete problem. Apart from respecting user-defined deadline and budget, energy consumption is a major concern for cloud providers in implementing the scheduling strategy. The types and the number of virtual machines (VMs) used are determinant to handle those issues, and their determination is highly influenced by the structure of the workflow. In this paper, we propose two workflow scheduling algorithms that take advantage of the structural properties of the workflows. The first algorithm is called Structure-based Multi-objective Workflow Scheduling with an Optimal instance type (SMWSO). It introduces a new approach to determine the optimal instance type along with the optimal number of VMs to be provisioned. We also consider the use of heterogeneous VMs in the Structure-based Multi-objective Workflow Scheduling with Heterogeneous instance types (SMWSH), to highlight the algorithm's strength within the heterogeneous environment. The simulation results show that our proposal produces better energy-efficiency in 80% of workflow/workload scenarios, and save more than 50% overall energy compared to a recent state-of-the-art algorithm.

연구 동기 및 목표

• 엄격한 마감일 및 예산 제약 조건 하에서 클라우드 환경에서 에너지 효율적인 과학적 워크플로우 스케줄링 문제를 해결한다.
• 자원 과잉 할당과 높은 에너지 소비를 초래하는 기존 스케줄링 접근 방식의 비효율성을 해결한다.
• 워크플로우 구조를 기반으로 최적의 인스턴스 유형과 최소 가상 머신 수를 분석적으로 결정할 수 있는 방법을 개발한다.
• 과잉 할당을 방지하고 가상 머신 선택에서의 균일성(동질성)을 활용함으로써 가상 머신 활용도를 향상시키고 에너지 낭비를 줄인다.
• SLA 준수를 확보하면서 다양한 과학적 워크플로우 전반에서 총 에너지 소비와 실행 비용을 최소화한다.

제안 방법

• 워크플로우 기반의 다중 목적 스케줄링 알고리즘인 SMWSO를 제안하여 단일 최적의 가상 머신 인스턴스 유형을 선택하고 워크플로우 실행에 필요한 최소 가상 머신 수를 결정한다.
• SMWSH를 도입하여 SMWSO의 이질적 환경 확장판을 제공함으로써 이질적 클라우드 환경에서의 성능 향상을 추가로 탐색한다.
• 워크플로우 그래프 분석을 통해 최대 너비(임계 경로 너비)를 계산하여 최소 가상 머신 수를 결정하는 데 핵심 입력 자료로 활용한다.
• 비임계 경로에 동적 전압 및 주파수 스케일링(DVFS)을 적용하여 마감일 제약 조건을 위반하지 않으면서 에너지 소비를 감소시킨다.
• 예산 및 마감일 제약 조건을 스케줄링 결정 과정에 통합하여 SLA 준수를 보장한다.
• 통계적 검증(ANOVA 및 Tukey-Kramer 사후 검정)을 통해 최첨단 REEWS 알고리즘 대비 에너지 효율성을 비교한다.

실험 결과

연구 질문

• RQ1 워크플로우 구조를 효과적으로 활용하여 에너지 효율적인 스케줄링을 위한 최적의 가상 머신 수와 유형을 결정할 수 있는가?
• RQ2 단일 최적의 가상 머신 인스턴스 유형(동질성)을 사용할 경우와 이질적 인스턴스 유형을 사용할 경우의 에너지 효율성과 비용은 어떻게 비교되는가?
• RQ3 비임계 경로에 DVFS를 적용할 경우 마감일 제약 조건을 충족하면서 얼마나 많은 에너지 소비를 줄일 수 있는가?
• RQ4 제안된 방법은 다양한 과학적 워크플로우(MONTAGE, CYBERSHAKE, LIGO 등)와 다양한 워크로드에서 어떻게 성능을 발휘하는가?
• RQ5 제안된 방법은 기존 최첨단 알고리즘인 REEWS에 비해 유의미하게 더 에너지 효율적인가?

주요 결과

• SMWSO와 SMWSH는 평가된 워크플로우 및 워크로드 시나리오의 80%에서 REEWS 알고리즘보다 에너지 효율성이 뛰어나다.
• 모든 실험에서 SMWSO는 REEWS 및 SMWSH 대비 50% 이상의 에너지 절감을 달성하여 단일 최적 인스턴스 유형 사용의 이점을 입증한다.
• 통계 분석을 통해 SMWSO는 80%의 경우에서 REEWS보다 유의미하게 더 에너지 효율적이며, SMWSH 역시 대부분의 시나리오에서 REEWS를 능가한다.
• SMWSO의 성공률은 세 알고리즘 중 가장 높았지만, 성공률 측면에서 세 알고리즘 간 유의미한 통계적 차이는 발견되지 않았다.
• 최소 가상 머신 수를 결정하기 위해 구조적 분석을 활용하는 것은 과잉 할당을 효과적으로 방지하고 가상 머신 활용도를 향상시킨다.
• 결과는 가상 머신 선택에서의 동질성—특히 최적 인스턴스 유형 선택과 결합된 경우—가 대부분의 경우 이질적 구성보다 더 뛰어난 에너지 효율성을 제공한다는 가설을 검증한다.