[论文解读] Multi-agent Reinforcement Learning Embedded Game for the Optimization of Building Energy Control and Power System Planning

Jun Hao|arXiv (Cornell University)|Jan 17, 2019

Smart Grid Energy Management参考文献 61被引用 6

一句话总结

本文提出了一种嵌入多智能体强化学习（MARL）的博弈论框架，用于优化学术与商业建筑中的暖通空调（HVAC）控制与电力系统规划。通过将建筑管理者建模为博弈中的参与者，以最小化社会成本（结合能源支出与生产力损失）为目标，该方法利用实时电价与强化学习（RL），比传统博弈论更快实现纳什均衡，从而降低能源成本并维持室内舒适度。

ABSTRACT

Most of the current game-theoretic demand-side management methods focus primarily on the scheduling of home appliances, and the related numerical experiments are analyzed under various scenarios to achieve the corresponding Nash-equilibrium (NE) and optimal results. However, not much work is conducted for academic or commercial buildings. The methods for optimizing academic-buildings are distinct from the optimal methods for home appliances. In my study, we address a novel methodology to control the operation of heating, ventilation, and air conditioning system (HVAC). With the development of Artificial Intelligence and computer technologies, reinforcement learning (RL) can be implemented in multiple realistic scenarios and help people to solve thousands of real-world problems. Reinforcement Learning, which is considered as the art of future AI, builds the bridge between agents and environments through Markov Decision Chain or Neural Network and has seldom been used in power system. The art of RL is that once the simulator for a specific environment is built, the algorithm can keep learning from the environment. Therefore, RL is capable of dealing with constantly changing simulator inputs such as power demand, the condition of power system and outdoor temperature, etc. Compared with the existing distribution power system planning mechanisms and the related game theoretical methodologies, our proposed algorithm can plan and optimize the hourly energy usage, and have the ability to corporate with even shorter time window if needed.

研究动机与目标

• 为解决学术与商业建筑中需求侧管理的缺口，这些建筑中暖通空调系统占据主导能源消耗并影响人员生产力。
• 开发一种控制策略，以最小化社会成本（定义为能源支出与因工作生产力下降所造成的货币损失之和）为目标，而非仅关注能源或成本的降低。
• 将建筑管理者建模为非合作博弈中的理性智能体，其策略为设定室内温度，以优化个体与集体结果。
• 通过整合强化学习（RL），克服传统博弈论方法在大规模系统中计算效率低下的问题，实现更快收敛至纳什均衡。
• 在丹佛大学校园智能电网上验证该框架，利用实时电价与动态人员占用数据进行真实场景模拟。

提出的方法

• 构建一个非合作博弈，其中每个建筑管理者为一名玩家，其策略为设定室内温度以最小化个人社会成本。
• 将社会成本定义为能源成本（基于实时节点边际电价）与生产力损失（基于热舒适度影响的货币化）之和。
• 采用马尔可夫决策过程（MDP）框架，状态表示包括室外温度、人员占用水平与实时电价。
• 采用基于Q-learning的多智能体强化学习（MARL），使智能体通过与环境交互及社会成本反馈，学习最优温度设定。
• 集成并行计算方案，用于模拟智能电网环境，加速训练与决策过程。
• 引入一个新颖的优化问题（Ψ），证明该博弈的纳什均衡对应于社会成本函数的全局最小值，确保最优性。

实验结果

研究问题

• RQ1 博弈论方法能否有效平衡高HVAC能耗的学术与商业建筑中的能源成本与人员生产力？
• RQ2 强化学习的集成如何提升大规模建筑能效控制博弈中实现纳什均衡的计算效率？
• RQ3 在保持热舒适度的前提下，实时电价与人员占用数据能在多大程度上被用于优化HVAC调度？
• RQ4 与传统博弈论方法相比，所提出的嵌入MARL的博弈框架是否实现更低的社会成本与更快收敛？
• RQ5 所提博弈的纳什均衡是否等价于社会成本函数的全局最小值？

主要发现

• 所提出的嵌入MARL的博弈论框架在纳什均衡下实现社会成本的最优最小化，理论证明该均衡对应于社会成本函数的全局最小值。
• 与传统博弈论方法相比，强化学习显著降低了计算时间，尤其在建筑数量或策略数量增加时更为明显。
• 仿真结果表明，该算法能根据实时电价与人员占用水平成功调节室内温度，将热舒适度维持在可接受范围内。
• 与基线策略相比，单栋建筑的能源成本与整个校园的电力费用均有所降低，且未影响人员生产力。
• 该框架展现出良好的可扩展性与适应性，能够处理更短时间窗口及电力系统条件的动态变化，如实时电价波动与可再生能源发电的波动。