[论文解读] Multi-Agent Deep Reinforcement Learning for HVAC Control in Commercial Buildings

Liang Yu, Yi Sun+5 more|arXiv (Cornell University)|Jun 25, 2020

Building Energy and Comfort Optimization参考文献 39被引用 4

一句话总结

该论文提出了一种带有注意力机制的多智能体深度强化学习（MADRL）算法，旨在在无需预先了解热力学模型或不确定参数的情况下，最小化多区域商业建筑的HVAC能耗成本。在真实世界中人员占用和电价波动的条件下，该方法相比基线方法将总能耗成本降低了75.25%，展现出高度的有效性、鲁棒性和可扩展性。

ABSTRACT

In commercial buildings, about 40%-50% of the total electricity consumption is attributed to Heating, Ventilation, and Air Conditioning (HVAC) systems, which places an economic burden on building operators. In this paper, we intend to minimize the energy cost of an HVAC system in a multi-zone commercial building under dynamic pricing with the consideration of random zone occupancy, thermal comfort, and indoor air quality comfort. Due to the existence of unknown thermal dynamics models, parameter uncertainties (e.g., outdoor temperature, electricity price, and number of occupants), spatially and temporally coupled constraints associated with indoor temperature and CO2 concentration, a large discrete solution space, and a non-convex and non-separable objective function, it is very challenging to achieve the above aim. To this end, the above energy cost minimization problem is reformulated as a Markov game. Then, an HVAC control algorithm is proposed to solve the Markov game based on multi-agent deep reinforcement learning with attention mechanism. The proposed algorithm does not require any prior knowledge of uncertain parameters and can operate without knowing building thermal dynamics models. Simulation results based on real-world traces show the effectiveness, robustness and scalability of the proposed algorithm.

研究动机与目标

• 解决商业建筑中HVAC系统能耗高昂的问题，其能耗占总用电量的40%-50%。
• 应对在随机人员占用、电价波动以及室内空气质量约束等不确定和动态条件下最小化HVAC能耗成本的挑战。
• 开发一种无需预先了解建筑热力学模型或不确定参数（如室外温度和人员占用水平）的控制算法。
• 在保持系统可扩展性和鲁棒性的前提下，确保热舒适性和室内空气质量舒适。

提出的方法

• 将HVAC控制问题重新表述为马尔可夫博弈，以建模多区域之间的相互作用和约束。
• 设计一种带有注意力机制的多智能体深度强化学习框架，以实现在各区域之间的协调决策。
• 使用软演员评论家（SAC）算法进行训练，使其能够在非凸、非可分环境中实现探索与稳定学习。
• 采用包含区域温度、CO₂浓度、人员占用、室外温度和电价的状态表示。
• 实现大容量的经验回放缓冲区，以支持在高维动作空间（例如，30个区域的动作为11^31）中的学习。
• 使用真实建筑数据轨迹端到端训练智能体，使算法能够在无模型知识的情况下适应动态和不确定的环境。

实验结果

研究问题

• RQ1 在不依赖热力学模型的前提下，多智能体深度强化学习方法是否能有效最小化多区域商业建筑中的HVAC能耗成本？
• RQ2 在随机区域人员占用及室外温度和电价等不确定参数下，所提出的算法表现如何？
• RQ3 注意力机制在空间和时间上耦合的HVAC控制中，对智能体间协调的改善程度如何？
• RQ4 该算法对热力学模型不确定性及扰动的鲁棒性如何？
• RQ5 当区域数量增加时，该算法的可扩展性如何？

主要发现

• 在真实世界条件下，与随机搜索（RS）基线相比，所提算法将总能耗成本（TEC）降低了75.25%。
• 与启发式策略（HS）相比，该算法在TEC上实现了56.50%的降低，表明其在成本最小化方面具有更优性能。
• 在三种扰动情景下，算法表现出鲁棒性，平均绝对温度偏差（ATD）≤1.4°C，平均CO₂偏差（ACD）≤40 ppm。
• 在20,000个训练周期内收敛稳定，平均回合奖励随时间增加并趋于稳定，表明学习过程有效。
• 该算法可有效扩展至30个区域，动作空间高达11^31，且在高维控制任务中保持性能。
• 注意力机制实现了智能体间的有效协调，在电价高峰时段降低了总供风量，从而贡献于节能。