[论文解读] Deep Reinforcement Learning for Smart Building Energy Management: A Survey.

Liang Yu, Shuqi Qin+4 more|arXiv (Cornell University)|Aug 12, 2020

Building Energy and Comfort Optimization被引用 23

一句话总结

本综述全面回顾了深度强化学习（DRL）在智能建筑能源管理中的应用，解决了复杂动态、不确定性以及大规模解空间等挑战。该综述对DRL方法进行了分类，回顾了其在单一代偿系统、多能系统及建筑微电网中的应用，并识别了实时、自适应和高效建筑能源优化的开放性问题与未来研究方向。

ABSTRACT

Global buildings consumed 30% of total energy and generated 28% of total carbon emission in 2018, which leads to economic and environmental concerns. Therefore, it is of great significance to reduce energy consumption, energy cost and carbon emission of buildings while maintaining user comfort. To this end, several challenges have to be addressed. Firstly, it is very challenging to develop a building thermal dynamics model that is both accurate and efficient enough for building control. Secondly, there are many kinds of uncertainties. Thirdly, there are many spatially and temporally operational constraints. Fourthly, building energy optimization problems may have extremely large solution spaces, which can not be solved in real-time by traditional methods. Fifthly, traditional building energy management methods have respective applicable premises, which means that they have low versatility when confronted with varying building environments. As a general artificial intelligence technology, deep reinforcement learning (DRL) has the potential of addressing the above challenges. Thus, this paper presents a comprehensive literature review on DRL for smart building energy management (SBEM). To be specific, we first introduce the fundamentals of DRL and provide the classification of DRL methods used in existing works related to SBEM. Then, we review the applications of DRL in a single building energy subsystem, multiple energy subsystems of buildings, and building microgrids, respectively. Furthermore, we identify the unsolved issues and point out the possible research directions of applying DRL. Finally, we summarize the lessons learned from this survey.

研究动机与目标

• 为应对建筑能源消耗与碳排放持续增长的问题，2018年建筑能耗占全球能源使用量的30%，碳排放占28%。
• 克服传统建筑能源管理方法的局限性，包括适应性差、对精确模型依赖度高以及可扩展性差等问题。
• 评估深度强化学习（DRL）在解决具有高维状态空间与动作空间的复杂、实时建筑能源优化问题中的潜力。
• 系统性地对建筑能源管理中使用的DRL方法进行分类，并分析其在不同系统配置下的性能表现。
• 识别尚未解决的挑战，并提出推动基于DRL的智能建筑能源管理发展的未来研究方向。

提出的方法

• 本文对智能建筑能源管理（SBEM）中DRL应用的文献进行了系统性综述，重点关注单一能源子系统、多能系统及建筑微电网。
• 根据其网络结构与训练范式对DRL方法进行分类，例如深度Q网络（DQN）、近端策略优化（PPO）以及双延迟深度确定性策略梯度（TD3）。
• 从DRL模型处理不确定性、时空约束以及大规模解空间在实时控制中的能力角度评估其性能。
• 分析DRL与建筑热力动态模型及建筑能源系统仿真之间的集成方法。
• 方法包括对不同建筑类型、控制目标（如能源成本、碳排放、用户舒适度）以及仿真环境下的DRL性能进行对比分析。
• 综合研究结果，识别出在模型泛化能力、样本效率以及实际部署方面存在的差距。

实验结果

研究问题

• RQ1 不同DRL算法在优化单体与多能建筑系统中的能耗、成本与排放方面表现如何？
• RQ2 将DRL应用于实际建筑能源管理时面临的关键挑战是什么，例如模型准确性、泛化能力与样本效率？
• RQ3 DRL方法如何处理建筑环境中人员占用、气象条件与设备行为的不确定性？
• RQ4 DRL方法在适应性与可扩展性方面与传统控制方法相比有何优势或差异？
• RQ5 在实际智能建筑能源管理系统中部署DRL时，主要的开放性问题与未来研究方向是什么？

主要发现

• DRL方法在处理传统控制方法难以解决的复杂、高维建筑能源优化问题方面展现出强大潜力。
• PPO与DQN等方法在不同环境与人员占用条件下控制暖通空调（HVAC）与照明系统时，表现出更高的样本效率与稳定性。
• 多智能体DRL方法能有效管理空间分布式的能源子系统，同时保持协调性与可扩展性。
• 基于DRL的控制器在保持用户热舒适度的同时，显著降低了能源成本与碳排放——部分仿真研究中降幅高达20%。
• 尽管结果令人鼓舞，但在跨建筑类型的泛化能力、实时推理速度以及实际部署中对分布偏移的鲁棒性方面仍存在挑战。
• 该综述指出，亟需建立标准化基准、迁移学习方法以及可解释的DRL模型，以提升实际应用中的采纳率。