[论文解读] Energy-aware Task Scheduling with Deadline Constraint in DVFS-enabled Heterogeneous Clusters

Xinxin Mei, Qiang Wang+4 more|arXiv (Cornell University)|Apr 1, 2021

Parallel Computing and Optimization Techniques参考文献 48被引用 5

一句话总结

本文提出了一种面向DVFS启用的CPU-GPU异构集群的能量感知任务调度框架，在截止时间约束下最小化总能耗。通过非线性建模GPU性能与功耗，并采用参数θ的运行时DVFS重新调整策略，该方法实现了高达33–35%的节能效果——接近理论上限——同时平衡了动态、空闲和启动能耗。

ABSTRACT

Energy conservation of large data centers for high-performance computing workloads, such as deep learning with big data, is of critical significance, where cutting down a few percent of electricity translates into million-dollar savings. This work studies energy conservation on emerging CPU-GPU hybrid clusters through dynamic voltage and frequency scaling (DVFS). We aim at minimizing the total energy consumption of processing a batch of offline tasks or a sequence of real-time tasks under deadline constraints. We derive a fast and accurate analytical model to compute the appropriate voltage/frequency setting for each task and assign multiple tasks to the cluster with heuristic scheduling algorithms. In particular, our model stresses the nonlinear relationship between task execution time and processor speed for GPU-accelerated applications, for more accurately capturing real-world GPU energy consumption. In performance evaluation driven by real-world power measurement traces, our scheduling algorithm shows comparable energy savings to the theoretical upper bound. With a GPU scaling interval where analytically at most 36% of energy can be saved, we record 33-35% of energy savings. Our results are applicable to energy management on modern heterogeneous clusters.

研究动机与目标

• 在严格任务截止时间约束下，最小化CPU-GPU异构集群中的总能耗。
• 解决GPU加速工作负载中的能效低下问题，特别是在运行深度学习和大数据工作负载的大规模数据中心中。
• 对GPU执行时间、频率和功耗之间的非线性关系进行建模，以实现精确的能耗预测。
• 设计一种启发式调度算法，有效平衡离线和在线任务执行模式下的动态、空闲和启动能耗。
• 评估运行时DVFS重新调整（通过θ参数）在减少空闲和开销能耗方面的影响，同时不牺牲截止时间合规性。

提出的方法

• 开发了一种GPU专用的性能与功耗模型，考虑GPU核心频率、内存频率和核心电压的独立调节。
• 推导出一种分析优化模型，用于计算每项任务的最优电压/频率设置，以在满足截止时间的前提下最小化能耗。
• 实现了一种基于EDF排序的启发式装箱调度算法，以高效地将任务分配给服务器。
• 引入一种基于可调参数θ的运行时DVFS重新调整机制，以动态平衡活跃状态与空闲状态之间的能耗。
• 利用真实世界的功耗测量轨迹验证模型，并在实际工作负载下评估节能效果。
• 采用参数化能耗模型模拟并比较不同配置下的总能耗，包括基线、无重新调整的DVFS以及带θ重新调整的DVFS。

实验结果

研究问题

• RQ1 如何对GPU专用的动态电压和频率调节（DVFS）进行建模，以准确反映执行时间与功耗之间的非线性权衡？
• RQ2 在严格截止时间约束下，如何实现最小化CPU-GPU异构集群中总能耗的最优调度策略？
• RQ3 运行时DVFS重新调整（通过θ）如何影响配备多个CPU-GPU组合的服务器中动态、空闲和启动能耗之间的平衡？
• RQ4 在实际应用中能实现多大程度的节能？其节能效果能多接近理论上限？
• RQ5 服务器利用率和CPU-GPU组合数量对所提出能耗管理策略有效性有何影响？

主要发现

• 所提出的EDL调度算法结合θ重新调整，实现了33–35%的节能效果，接近36%的理论上限。
• 当l = 16（16个CPU-GPU组合）时，总能耗从θ = 1时的102.49 MJ降低至θ = 0.95时的100.94 MJ，空闲能耗减少了1.55 MJ。
• 设置θ = 0.8时，在所有配置中（除了l = 1）实现了最低的总能耗，表明其在多GPU服务器中的鲁棒性。
• 较小的θ值显著降低了空闲能耗，尤其是在l > 1时，凸显了在高利用率集群中运行时重新调整的重要性。
• 基于EDF排序的首次适应装箱算法在控制启动开销和空闲能耗方面优于基于EDL的算法。
• 运行时能耗随θ减小而略有上升，但空闲能耗和启动能耗的降低更为显著，从而实现了净节能效果。