[论文解读] Flow Rate Control in Smart District Heating Systems Using Deep Reinforcement Learning

Tinghao Zhang, Luo Jing+2 more|arXiv (Cornell University)|Dec 1, 2019

Smart Grid Energy Management参考文献 39被引用 6

一句话总结

本文提出一种基于深度强化学习（DRL）的智能区域供热系统流量控制方法，采用深度确定性策略梯度（DDPG）算法优化供热输送。与人工控制相比，该方法在实际部署和仿真测试中分别将能耗和水耗降低了19,850.1 GJ/h和42,276.45 吨/h，显著提升了系统能效。

ABSTRACT

At high latitudes, many cities adopt a centralized heating system to improve the energy generation efficiency and to reduce pollution. In multi-tier systems, so-called district heating, there are a few efficient approaches for the flow rate control during the heating process. In this paper, we describe the theoretical methods to solve this problem by deep reinforcement learning and propose a cloud-based heating control system for implementation. A real-world case study shows the effectiveness and practicability of the proposed system controlled by humans, and the simulated experiments for deep reinforcement learning show about 1985.01 gigajoules of heat quantity and 42276.45 tons of water are saved per hour compared with manual control.

研究动机与目标

• 解决因流量控制不善和水资源浪费导致的区域供热系统（DHS）效率低下问题。
• 克服传统控制方法依赖复杂数学模型或难以适配多样化DHS配置的局限性。
• 开发一种可扩展的基于云的控制体系，利用深度强化学习（DRL）实现实时、自动化的流量优化。
• 通过真实部署与仿真验证DRL方法的有效性，证明其在能耗与用水量方面优于人工控制。

提出的方法

• 使用深度确定性策略梯度（DDPG）算法训练深度神经网络，以学习区域供热系统一次侧和二次侧的最优流量控制策略。
• DRL智能体接收包括供水与回水温度、流量及目标热需求在内的状态观测值，并输出流量调节指令，以最小化实际供热与目标供热之间的偏差。
• 采用滚动训练策略，模型通过新数据（如7天滚动窗口）持续增量式再训练，以适应系统动态变化并确保实时适用性。
• 系统通过NB-IoT实现现场传感器数据向云平台（阿里云）的实时传输，支持远程集中控制。
• 采用混合控制架构，以DRL负责主流量控制，同时在各户内采用PID控制器校正局部水力不平衡。
• 设计奖励函数，以最小化一次侧与二次侧实际供热与目标供热之间的绝对误差。

实验结果

研究问题

• RQ1 深度强化学习能否有效优化区域供热系统的流量控制，从而降低能耗与水耗？
• RQ2 与人工控制相比，基于DRL的控制在供热精度与资源效率方面表现如何？
• RQ3 DRL智能体是否能在无需详细系统特定数学模型的前提下，泛化应用于不同配置的区域供热系统？
• RQ4 通过NB-IoT实现实时数据流传输，对DRL控制在真实部署中的性能与可扩展性有何影响？
• RQ5 滚动训练策略如何提升模型在动态供热环境中的稳定性与适应能力？

主要发现

• DDPG智能体在二次侧使总热能消耗降低了12.6%，在一次侧降低了9.7%，相比人工控制。
• DDPG方法实现了18,219.17 GJ/h的归一化总热耗，为所有测试方法中的第二低值，且能效（CE）值为1,307.07 GJ/h，表明其效率极高。
• DDPG与SAC智能体在供热输出上更接近目标曲线，其误差在频谱分布直方图中集中于零附近，优于监督学习方法。
• 在仿真实验中，系统相比人工控制每小时节省约19,850.1吉焦的热能和42,276.45吨的用水量。
• 滚动训练策略使DRL模型随时间持续优化，平均奖励随数据量增加而提升，表明其对真实世界动态变化具有良好的适应能力。
• 基于DRL的系统在处理复杂非线性动态与水力不平衡方面表现更优，其精度与稳定性均优于传统控制方法。