[论文解读] Distributed Energy Management and Demand Response in Smart Grids: A Multi-Agent Deep Reinforcement Learning Framework

Amin Shojaeighadikolaei, Arman Ghasemi+5 more|arXiv (Cornell University)|Nov 29, 2022

Smart Grid Energy Management被引用 5

一句话总结

本文提出了一种多智能体深度强化学习（DRL）框架，通过实时动态定价联合优化住宅智能电网中的分布式能源管理（DEM）与需求响应（DR）。通过使产消者自主管理电池储能与电网交互，该框架将产消者电费最高降低12%，同时使电网利润提升4.3%，并减少峰值备用电源使用，展示了在中等规模仿真中的可扩展性与经济效率。

ABSTRACT

This paper presents a multi-agent Deep Reinforcement Learning (DRL) framework for autonomous control and integration of renewable energy resources into smart power grid systems. In particular, the proposed framework jointly considers demand response (DR) and distributed energy management (DEM) for residential end-users. DR has a widely recognized potential for improving power grid stability and reliability, while at the same time reducing end-users energy bills. However, the conventional DR techniques come with several shortcomings, such as the inability to handle operational uncertainties while incurring end-user disutility, which prevents widespread adoption in real-world applications. The proposed framework addresses these shortcomings by implementing DR and DEM based on real-time pricing strategy that is achieved using deep reinforcement learning. Furthermore, this framework enables the power grid service provider to leverage distributed energy resources (i.e., PV rooftop panels and battery storage) as dispatchable assets to support the smart grid during peak hours, thus achieving management of distributed energy resources. Simulation results based on the Deep Q-Network (DQN) demonstrate significant improvements of the 24-hour accumulative profit for both prosumers and the power grid service provider, as well as major reductions in the utilization of the power grid reserve generators.

研究动机与目标

• 为解决传统基于模型的需求响应与能源管理技术在系统不确定性、非线性和缺乏泛化能力方面的局限性。
• 通过无模型强化学习，实现住宅微电网中电网服务提供商与产消者自主、实时的决策制定。
• 通过动态、与需求相关的电价，联合优化分布式能源管理与需求响应，以激励产消者参与。
• 在具有异质性产消者的中等规模微电网中，评估该框架的可扩展性与经济性能。
• 证明利用分布式能源资源（如屋顶光伏与电池）作为可调度资产，可提升电网稳定性并减少对昂贵备用发电机的依赖。

提出的方法

• 该框架将服务提供商智能体（SPA）与产消者智能体（PAs）之间的交互建模为马尔可夫决策过程（MDP），在不确定性下实现序列决策。
• SPA使用深度Q网络（DQN）强化学习，根据实时电网状态与需求水平动态设定购电价格。
• 每个PA使用独立的DQN智能体，自主控制电池的充放电周期及向电网的功率注入，以最大化个体利润。
• 系统集成实时电价信号，激励产消者调整用电与储能行为，使个体激励与电网稳定性保持一致。
• 该框架在包含小规模（5名产消者）与中等规模（50名产消者）微电网的仿真环境中进行训练与评估，整合了真实负载曲线与输电损耗。
• 通过调整电池容量与输电损耗参数，评估其对系统性能与可扩展性的影响。

实验结果

研究问题

• RQ1 多智能体DRL框架是否能在无需显式系统模型的情况下，有效协调住宅微电网中的分布式能源管理与需求响应？
• RQ2 动态、需求响应型定价在多大程度上影响产消者行为与电网级电能分配效率？
• RQ3 在多大程度上可将分布式能源资源（如屋顶光伏与电池）作为可调度资产，以减少对备用发电机的依赖？
• RQ4 在产消者数量增加且消费模式异质的条件下，该框架在性能与经济收益方面的可扩展性如何？
• RQ5 电池容量与输电损耗对系统长期盈利能力与能源管理效率有何影响？

主要发现

• 在50名产消者的中等规模仿真中，所提出的DRL框架使产消者平均每日电费相比传统方法降低12%。
• 由于优化了电池调度并减少了对昂贵备用电源的使用，电网在24小时内利润提升了4.3%。
• 峰值负荷需求从傍晚（18–24点）有效转移至清晨（凌晨6点前），减轻了电网压力。
• 电池容量从2千瓦时增至15千瓦时显著降低了电费并提升了利润，但超过15千瓦时后改善开始趋于平缓。
• 输电损耗对电网利润产生负面影响，损耗系数越高，整体系统效率与盈利能力越低。
• 基于智能体的方法在电费降低与备用电源利用方面均优于传统方案，展示了在异质环境中的可扩展性与鲁棒性。