[论文解读] Distributed Multi-Agent Deep Reinforcement Learning Framework for Whole-building HVAC Control

Vinay Hanumaiah, Şahika Genç|arXiv (Cornell University)|Oct 26, 2021

Building Energy and Comfort Optimization被引用 4

一句话总结

本文提出了一种可扩展的、分布式的多智能体深度强化学习（DRL）框架，通过将Ray RLlib与EnergyPlus联合仿真，实现对整栋建筑暖通空调（HVAC）控制的优化。通过为制热和制冷设定点分别设置独立智能体，该框架在保持热舒适度的前提下实现了超过75%的能耗降低，并通过高效的进程间同步机制，在异构CPU和GPU上加速了训练过程。

ABSTRACT

It is estimated that about 40%-50% of total electricity consumption in commercial buildings can be attributed to Heating, Ventilation, and Air Conditioning (HVAC) systems. Minimizing the energy cost while considering the thermal comfort of the occupants is very challenging due to unknown and complex relationships between various HVAC controls and thermal dynamics inside a building. To this end, we present a multi-agent, distributed deep reinforcement learning (DRL) framework based on Energy Plus simulation environment for optimizing HVAC in commercial buildings. This framework learns the complex thermal dynamics in the building and takes advantage of the differential effect of cooling and heating systems in the building to reduce energy costs, while maintaining the thermal comfort of the occupants. With adaptive penalty, the RL algorithm can be prioritized for energy savings or maintaining thermal comfort. Using DRL, we achieve more than 75\\% savings in energy consumption. The distributed DRL framework can be scaled to multiple GPUs and CPUs of heterogeneous types.

研究动机与目标

• 为应对商业建筑中高能耗问题，其中暖通空调系统占总能耗的50%。
• 通过强化学习实现无模型、自适应优化，克服基于规则和基于模型控制方法的局限性。
• 开发一种可扩展的、分布式的DRL框架，支持大型建筑中复杂热力学动态的多区域和多智能体控制。
• 在不同气象条件和节能与热舒适度之间权衡的背景下，验证该框架的有效性。
• 通过使用异构云实例（如AWS）优化训练成本和收敛时间，实现实际部署。

提出的方法

• 该框架通过Ray RLlib与EnergyPlus之间的联合仿真接口运行，其中EnergyPlus模拟建筑热力学动态，并将状态观测结果提供给OpenAI Gym环境。
• RLlib中的强化学习智能体根据观测结果采取行动，基于能耗和热舒适度获得奖励，并通过策略梯度算法（如PPO、APEX-DDPG）更新策略。
• 采用差分惩罚系数（α）平衡能耗成本与热舒适度，实现节能与温度越限之间的权衡分析。
• 通过为制热和制冷设定点分别使用独立的神经网络，实现多智能体控制，使每种模式可独立优化。
• 通过RLlib的多工作进程架构实现分布式训练，进程间通信通过EnergyPlus回调函数和消息队列管理。
• 系统部署在AWS云实例上，训练成本和性能在GPU与CPU配置之间进行了评估。

实验结果

研究问题

• RQ1 该分布式DRL框架在不同气象条件下对减少HVAC能耗的性能表现如何？
• RQ2 能耗-温度惩罚系数（α）对节能与热舒适度之间权衡的影响是什么？
• RQ3 与多区域控制相比，多智能体控制（分别为制热和制冷设置独立智能体）在奖励、能耗和温度越限方面表现如何？
• RQ4 在性能相当的前提下，PPO与APEX-DDPG哪种DRL算法收敛更快、训练时间更短？
• RQ5 在HVAC DRL训练中，哪种CPU/GPU云硬件组合能最小化训练成本和时间？

主要发现

• 与基线规则控制相比，该框架实现了HVAC能耗超过75%的降低。
• 在所有α值下，多智能体控制均优于多区域控制，表现为奖励更高、能耗更低、温度越限更少。
• APEX-DDPG比PPO快84%收敛，训练时间减少60%，且奖励值相当。
• 在所测试配置中，ml.g4dn.16xlarge AWS实例的训练成本最低（1.36美元），收敛速度最快（15分钟）。
• 该系统在异构CPU和GPU上实现高效扩展，通过基于回调的同步机制实现低延迟的分布式训练。
• 气象条件显著影响性能：湿度较高的城市因室外温度更稳定，温度越限更少。