[论文解读] Meta-Reinforcement Learning for Building Energy Management System

Huiliang Zhang, Di Wu+2 more|arXiv (Cornell University)|Oct 23, 2022

Smart Grid Energy Management被引用 11

一句话总结

本文提出 MetaEMS，一种元强化学习框架，通过利用任务级和组级适应，加速建筑能效管理系统（EMS）的策略学习。通过在多样化建筑环境的元学习知识基础上初始化策略，MetaEMS 实现了更快的收敛速度和更优的节能成本降低效果——在所有测试气候条件下，其平均每日峰值需求较基线方法（如 MAML、RL-MPC 和随机初始化）降低高达 13.58%。

ABSTRACT

The building sector is one of the largest contributors to global energy consumption. Improving its energy efficiency is essential for reducing operational costs and greenhouse gas emissions. Energy management systems (EMS) play a key role in monitoring and controlling building appliances efficiently and reliably. With the increasing integration of renewable energy, intelligent EMS solutions have received growing attention. Reinforcement learning (RL) has recently been explored for this purpose and shows strong potential. However, most RL-based EMS methods require a large number of training steps to learn effective control policies, especially when adapting to unseen buildings, which limits their practical deployment. This paper introduces MetaEMS, a meta-reinforcement learning framework for EMS. MetaEMS improves learning efficiency by transferring knowledge from previously solved tasks to new ones through group-level and building-level adaptation, enabling fast adaptation and effective control across diverse building environments. Experimental results demonstrate that MetaEMS adapts more rapidly to unseen buildings and consistently outperforms baseline methods across various scenarios.

研究动机与目标

• 为解决深度强化学习（DRL）在建筑能效管理系统（EMS）中样本效率低下的问题，即训练需要数百万步。
• 克服 DRL 代理在动态、真实世界 EMS 环境中泛化能力差的问题，这些环境具有变化的建筑动态和不确定的参数。
• 开发一种基于元学习的框架，实现在极少数据下对新建筑的快速适应，提升样本效率。
• 通过在动态电价下优化暖通空调（HVAC）、储能和可再生能源集成，降低能源成本并提升电网可靠性。
• 创建一种强大且可迁移的控制策略，能在无需精确建筑模型的前提下，泛化应用于多种气候区和建筑类型。

提出的方法

• 采用类似 MAML 的优化方法应用元强化学习，以在多个建筑环境中学习 DRL 策略的通用初始化。
• 该框架结合了建筑级和组级适应机制，使在新建筑上仅用少量梯度步骤即可实现快速微调。
• 采用分层元学习目标，联合优化基础策略初始化与对新任务（即新建筑或气候）的快速适应。
• 方法在四个美国气候区的模拟建筑数据上进行训练，使用兼顾能源成本、负荷整形和峰值需求的奖励函数。
• 通过策略梯度方法（如 PPO）训练策略，并结合元优化以最小化任务分布上的期望损失。
• 该框架在 CityLearn 基准环境中进行评估，模拟包含可再生能源发电、储能和可控负荷的真实世界 EMS。

实验结果

研究问题

• RQ1 元强化学习能否显著减少 DRL 代理在新建筑环境中实现稳定且低成本控制所需的episode数量？
• RQ2 在不同气候条件下，MetaEMS 与标准 DRL、MAML 和预训练基线在能源成本、峰值需求和爬坡性能方面的表现如何比较？
• RQ3 同时引入建筑级和组级适应在多大程度上提升了元学习策略的泛化能力和稳定性？
• RQ4 当面临室外温度、电价和可再生能源发电配置等分布偏移时，MetaEMS 是否仍能保持稳健性能？
• RQ5 在真实世界部署场景中，元学习初始化是否能实现比随机初始化或预训练权重更快的收敛速度？

主要发现

• MetaEMS 在所有四个气候区中均实现了最低的平均能源成本，相比最佳基线（RL-MPC）总成本降低 5.27%。
• 与最佳基线相比，MetaEMS 将年峰值需求降低 3.80%，日均峰值需求降低 13.58%，显著提升了电网可靠性。
• 在元测试中，MetaEMS 仅用 2 个episode 即实现收敛，而 MAML 和随机初始化需要 4–5 个episode，且学习趋势不稳定。
• MetaEMS 在爬坡性能上实现 6.01% 的提升，表明其具备更优的负荷轮廓塑造能力，可减少电网压力。
• 该方法在所有四个气候区中均保持了稳定且快速的适应能力，展现出强大的泛化能力以及对环境分布偏移的鲁棒性。
• 消融实验确认，建筑级和组级适应对实现最优样本效率和性能均至关重要。