[论文解读] Energy-efficient workflow scheduling based on workflow structures under deadline and budget constraints in the cloud

Jean Etienne Ndamlabin Mboula, V. C. Kamla+2 more|arXiv (Cornell University)|Jan 14, 2022

Distributed and Parallel Computing Systems被引用 5

一句话总结

本文提出了SMWSO和SMWSH两种节能工作流调度算法，利用工作流结构来确定在截止时间和预算约束下的最优虚拟机实例类型及最少虚拟机数量。通过聚焦于结构特性并采用动态电压和频率调节（DVFS），与最先进的REEWS相比，该算法在80%的工作流场景中将能耗降低了50%以上。

ABSTRACT

The utilization of cloud environments to deploy scientific workflow applications is an emerging trend in scientific community. In this area, the main issue is the scheduling of workflows, which is known as an NP-complete problem. Apart from respecting user-defined deadline and budget, energy consumption is a major concern for cloud providers in implementing the scheduling strategy. The types and the number of virtual machines (VMs) used are determinant to handle those issues, and their determination is highly influenced by the structure of the workflow. In this paper, we propose two workflow scheduling algorithms that take advantage of the structural properties of the workflows. The first algorithm is called Structure-based Multi-objective Workflow Scheduling with an Optimal instance type (SMWSO). It introduces a new approach to determine the optimal instance type along with the optimal number of VMs to be provisioned. We also consider the use of heterogeneous VMs in the Structure-based Multi-objective Workflow Scheduling with Heterogeneous instance types (SMWSH), to highlight the algorithm's strength within the heterogeneous environment. The simulation results show that our proposal produces better energy-efficiency in 80% of workflow/workload scenarios, and save more than 50% overall energy compared to a recent state-of-the-art algorithm.

研究动机与目标

• 解决在严格截止时间和预算约束下，云环境中科学工作流调度的节能挑战。
• 克服现有调度方法导致的资源过度配置和高能耗等低效问题。
• 提出一种基于工作流结构的分析方法，以确定最优实例类型和最少虚拟机数量。
• 通过避免过度配置并利用虚拟机选择中的同质性，提高虚拟机利用率并减少能耗浪费。
• 在确保服务等级协议（SLA）合规的同时，最小化各类科学工作流的总能耗和执行成本。

提出的方法

• 提出SMWSO，一种基于工作流结构的多目标调度算法，用于选择单一最优虚拟机实例类型，并确定工作流执行所需的最少虚拟机数量。
• 引入SMWSH作为SMWSO的异构扩展，支持多种实例类型，以在异构云环境中进一步探索性能提升。
• 通过工作流图分析计算最大宽度（关键路径宽度），作为确定所需最少虚拟机数量的关键输入。
• 在非关键路径上应用动态电压和频率调节（DVFS），在不违反截止时间约束的前提下降低能耗。
• 将预算和截止时间约束整合到调度决策过程中，以确保SLA合规。
• 采用统计验证（单因素方差分析ANOVA结合Tukey-Kramer事后检验）将能耗效率与最先进的REEWS算法进行比较。

实验结果

研究问题

• RQ1 工作流结构能否被有效利用，以确定节能调度所需的最优虚拟机数量和类型？
• RQ2 与使用多种实例类型相比，采用单一最优实例类型（同质性）在能耗效率和成本方面表现如何？
• RQ3 在满足截止时间约束的前提下，对非关键路径应用DVFS能在多大程度上降低能耗？
• RQ4 所提方法在不同科学工作流（如MONTAGE、CYBERSHAKE、LIGO）和不同工作负载下的表现如何？
• RQ5 与现有最先进的算法（如REEWS）相比，该方法是否显著更节能？

主要发现

• SMWSO和SMWSH在80%的评估工作流和工作负载场景中，能耗效率优于REEWS算法。
• SMWSO在所有实验中均实现比REEWS和SMWSH高出50%以上的能耗节省，证明了使用单一最优实例类型的优越性。
• 统计分析证实，在80%的情况下SMWSO显著优于REEWS，SMWSH在大多数场景中也优于REEWS。
• SMWSO的成功率在三种算法中最高，尽管在成功率方面三者之间未发现显著统计差异。
• 利用结构分析确定最少虚拟机数量，能有效防止资源过度配置，提升虚拟机利用率。
• 结果验证了假设：在结合最优实例类型选择的前提下，虚拟机选择的同质性在大多数情况下比异构配置具有更高的能耗效率。