[论文解读] Dynamic Deferral of Workload for Capacity Provisioning in Data Centers

Muhammad Abdullah Adnan, Ryo Sugihara+2 more|arXiv (Cornell University)|Sep 18, 2011

Cloud Computing and Resource Management参考文献 26被引用 8

一句话总结

本文通过利用SLA规定的延迟界限，提出了一种用于数据中心能效容量配置的动态工作负载延迟机制。它引入了两种在线算法——针对统一截止时间的VFW(𝛿)和针对非统一截止时间的GCP，通过优化服务器激活和工作负载调度，以减少能耗和切换成本，在模拟中实现了最高40%的成本节约，在真实Hadoop集群实验中实现了12%的成本节约，相较于简单的资源配置策略。

ABSTRACT

Recent increase in energy prices has led researchers to find better ways for capacity provisioning in data centers to reduce energy wastage due to the variation in workload. This paper explores the opportunity for cost saving utilizing the flexibility from the Service Level Agreements (SLAs) and proposes a novel approach for capacity provisioning under bounded latency requirements of the workload. We investigate how many servers to be kept active and how much workload to be delayed for energy saving while meeting every deadline. We present an offline LP formulation for capacity provisioning by dynamic deferral and give two online algorithms to determine the capacity of the data center and the assignment of workload to servers dynamically. We prove the feasibility of the online algorithms and show that their worst case performance are bounded by a constant factor with respect to the offline formulation. We validate our algorithms on a MapReduce workload by provisioning capacity on a Hadoop cluster and show that the algorithms actually perform much better in practice compared to the naive `follow the workload' provisioning, resulting in 20-40% cost-savings.

研究动机与目标

• 通过利用SLA规定的延迟需求灵活性来降低数据中心的能耗。
• 设计在线算法，动态确定服务器容量和工作负载分配，同时保证截止时间合规。
• 为在线算法相对于最优离线公式的性能提供理论边界。
• 通过模拟和35台节点的Hadoop集群实验，在真实MapReduce工作负载上验证该方法。
• 展示相较于基线的‘跟随工作负载’资源配置策略，该方法可实现显著的成本节约。

提出的方法

• 建立一个离线线性规划（LP）模型，用于在截止时间约束下确定各时间片的最优容量和工作负载分配。
• 提出VFW(𝛿)在线算法，通过前瞻𝛿个时间片，将工作推迟到低负载时段，以最小化统一截止时间下的能耗和切换成本。
• 设计GCP（广义容量配置）在线算法，通过在相邻时间片间均衡工作负载，减少服务器启停切换次数，适用于非统一截止时间场景。
• 证明VFW(𝛿)和GCP相对于离线LP公式的竞争比是有界的，从而确保理论性能保证。
• 将工作负载延迟机制集成到容量配置中，实现支持优先级感知和自适应调度策略的动态资源分配。
• 通过真实MapReduce追踪数据和35台节点Hadoop集群的实验，验证该方法在能耗节约方面的有效性。

实验结果

研究问题

• RQ1 在SLA截止时间约束下，动态延迟工作负载是否能降低数据中心的能耗？
• RQ2 如何设计在线算法，在保证截止时间合规的同时，实现容量配置和工作负载调度的最优化，以最小化能耗成本？
• RQ3 在线算法相对于最优离线解的理论性能边界是什么？
• RQ4 在不同工作负载下，所提出的算法与简单资源配置策略相比，在能耗节约方面表现如何？
• RQ5 在实际中，真实数据中心工作负载在多大程度上能从动态延迟机制中受益？

主要发现

• 在24小时模拟中，GCP算法实现了最高40%的总成本节约，显著优于VFW(𝛿)和基线的‘跟随工作负载’方法。
• 在35台节点Hadoop集群上进行的4小时真实实验中，VFW(𝛿)实现了约6.02%的能耗节约，而GCP实现了约12%的节约。
• 与‘无资源配置’策略相比，两种算法均将峰值能耗降低了50%以上，而这类策略在当前数据中心中较为普遍。
• 即使在严格的截止时间要求下，VFW(𝛿)算法仍实现了20%的成本节约，表明其对紧密延迟约束具有强鲁棒性。
• 理论分析表明，VFW(𝛿)和GCP均具有常数竞争比，确保其性能相对于最优离线解有界。
• 这些算法实现简单，计算开销极低，适合在真实数据中心环境中部署。