[论文解读] Autonomous Voltage Control for Grid Operation Using Deep Reinforcement Learning

Ruisheng Diao, Zhiwei Wang+4 more|arXiv (Cornell University)|Apr 24, 2019

Smart Grid Security and Resilience参考文献 9被引用 16

一句话总结

本文提出Grid Mind，一种基于深度强化学习（DRL）的电力系统自主无功电压控制框架。DRL智能体通过在IEEE 14节点系统上进行大规模离线仿真，学习最优控制策略，能够适应负荷/发电量变化和网络拓扑变化，在数万个场景下实现安全、实时的电压调节，性能优异。

ABSTRACT

Modern power grids are experiencing grand challenges caused by the stochastic and dynamic nature of growing renewable energy and demand response. Traditional theoretical assumptions and operational rules may be violated, which are difficult to be adapted by existing control systems due to the lack of computational power and accurate grid models for use in real time, leading to growing concerns in the secure and economic operation of the power grid. Existing operational control actions are typically determined offline, which are less optimized. This paper presents a novel paradigm, Grid Mind, for autonomous grid operational controls using deep reinforcement learning. The proposed AI agent for voltage control can learn its control policy through interactions with massive offline simulations, and adapts its behavior to new changes including not only load/generation variations but also topological changes. A properly trained agent is tested on the IEEE 14-bus system with tens of thousands of scenarios, and promising performance is demonstrated in applying autonomous voltage controls for secure grid operation.

研究动机与目标

• 应对由于随机性可再生能源增加和需求响应带来的现代电力系统安全经济运行挑战。
• 克服传统控制系统依赖静态离线规则、缺乏对实时电网动态适应能力的局限性。
• 开发一种自主、自适应的控制框架，能够在无需实时更新电网模型的情况下学习最优无功电压控制策略。
• 在多种运行条件下实现稳健性能，包括负荷和发电波动以及网络拓扑变化。
• 证明深度强化学习在复杂电力系统中实现实时电网运行控制的可行性与有效性。

提出的方法

• 设计基于深度Q网络（DQN）的强化学习智能体，基于IEEE 14节点系统的海量离线仿真进行训练。
• 使用母线电压幅值、有功/无功功率注入以及网络拓扑信息定义状态空间。
• 将动作空间定义为关键母线上调压分接头和并联电容器的控制决策。
• 设计奖励函数，对电压越限进行惩罚，同时鼓励安全稳定运行并最小化控制动作。
• 采用经验回放和目标网络技术，以稳定学习过程并提升收敛性能。
• 将训练好的策略迁移到实时仿真环境中，评估其在多样化、未见场景下的性能表现。

实验结果

研究问题

• RQ1 深度强化学习智能体是否能在不依赖实时系统模型的情况下学习到有效的无功电压控制策略？
• RQ2 基于DRL的智能体在电力系统中对未见的负荷和发电量变化的泛化能力如何？
• RQ3 智能体在应对线路停运或网络重构等拓扑变化时，适应能力达到何种程度？
• RQ4 该自主智能体在数万个运行场景下维持电压安全的能力如何？
• RQ5 与传统离线控制策略相比，该方法在鲁棒性和适应性方面表现如何？

主要发现

• 训练后的DRL智能体在数万个仿真场景中均成功将电压水平维持在可接受范围内。
• 智能体展现出强大的泛化能力，在负荷和发电量波动下仍能维持安全运行。
• 智能体在未重新训练的情况下，能有效适应线路停运等拓扑变化。
• 系统实现了高控制精度与稳定性，即使在极端运行条件下也仅有极少电压越限。
• 在动态和不确定的电网环境中，该框架优于传统离线控制方法。
• 结果证实了利用深度强化学习实现现代电力系统中自主、实时无功电压控制的可行性。