[论文解读] A Hierarchical Framework of Cloud Resource Allocation and Power Management Using Deep Reinforcement Learning

Ning Liu, Zhe Li+6 more|arXiv (Cornell University)|Mar 13, 2017

IoT and Edge/Fog Computing被引用 54

一句话总结

本文提出一个分层深度强化学习框架，包含全局基于 DRL 的 VM 分配层和本地基于 RL 的电源管理层，使用自编码器/权重共享来处理高维状态空间，并通过 LSTM 工作负载预测来提升 DPM。

ABSTRACT

Automatic decision-making approaches, such as reinforcement learning (RL), have been applied to (partially) solve the resource allocation problem adaptively in the cloud computing system. However, a complete cloud resource allocation framework exhibits high dimensions in state and action spaces, which prohibit the usefulness of traditional RL techniques. In addition, high power consumption has become one of the critical concerns in design and control of cloud computing systems, which degrades system reliability and increases cooling cost. An effective dynamic power management (DPM) policy should minimize power consumption while maintaining performance degradation within an acceptable level. Thus, a joint virtual machine (VM) resource allocation and power management framework is critical to the overall cloud computing system. Moreover, novel solution framework is necessary to address the even higher dimensions in state and action spaces. In this paper, we propose a novel hierarchical framework for solving the overall resource allocation and power management problem in cloud computing systems. The proposed hierarchical framework comprises a global tier for VM resource allocation to the servers and a local tier for distributed power management of local servers. The emerging deep reinforcement learning (DRL) technique, which can deal with complicated control problems with large state space, is adopted to solve the global tier problem. Furthermore, an autoencoder and a novel weight sharing structure are adopted to handle the high-dimensional state space and accelerate the convergence speed. On the other hand, the local tier of distributed server power managements comprises an LSTM based workload predictor and a model-free RL based power manager, operating in a distributed manner.

研究动机与目标

• 在云数据中心推动联合的 VM 资源分配和动态电源管理（DPM）。
• 开发一个可扩展的分层架构，包含一个全局 DRL 基于的分配器和一个分布式本地功率管理器。
• 通过自编码器和权重共享来减小状态/动作空间规模并改善收敛。
• 使用 LSTM 来预测未来工作负载，以提升 DPM 决策。
• 在真实轨迹上展示功率/能耗节省与延迟权衡。

提出的方法

• 采用两层结构：全局基于 DRL 的 VM 分配器和服务器本地分布式功率管理器。
• 在 VM 到达时隙采用连续时间、事件驱动的决策，以保持动作可枚举。
• 使用离线 DNN（包含自编码器和权重共享）来估计用于动作选择的 Q 值。
• 对全局层应用带 epsilon-greedy 策略的在线深度 Q 学习（SMDP）。
• 在本地层，使用 LSTM 工作负载预测器以及无模型的 RL 电源管理器来实现开/关决策。
• 定义一个将总功率、VM 数量和可靠性作为线性组合的奖励，以引导学习。

实验结果

研究问题

• RQ1 分层 DRL 框架在保持性能保证的同时，是否能扩展到高维云资源分配问题？
• RQ2 将自编码器与权重共享结合是否能改善 DRL 的收敛性和在 VM 分配中的可扩展性？
• RQ3 基于 LSTM 的工作负载预测在提升分布式 DPM 决策方面有多有效？
• RQ4 在真实工作负载轨迹上使用所提出的框架时，在功率/能耗节省与延迟权衡方面有哪些收益？

主要发现

• 该分层框架在 Google cluster traces 上相对于基线实现显著的功率和能耗节省（在 30 台服务器集群、95,000 个作业请求下节省 53.97%）。
• 该框架在服务器集群中实现了延迟与功率/能耗之间的最佳折衷。
• 在能耗相同的前提下，平均每作业延迟节省高达 16.16%；在延迟相同的前提下，平均功率/能耗节省高达 16.20%。
• 基于 DRL 的全局层具有较低的在线计算复杂度，并随每个决策时刻服务器数量线性扩展。
• 带权重共享方案的自编码器加速收敛并实现跨服务器组的可扩展 Q 值估计。
• 本地层将基于 LSTM 的工作负载预测与无模型 RL 的功率管理器结合，实现分布式 DPM 决策。