[论文解读] Adaptive Power System Emergency Control using Deep Reinforcement Learning

Qiuhua Huang, Renke Huang+4 more|arXiv (Cornell University)|Mar 9, 2019

Power System Optimization and Stability参考文献 32被引用 17

一句话总结

本文提出一种基于深度强化学习（DRL）的电力系统自适应紧急控制方法，采用端到端学习以动态响应扰动。该研究引入了开源的RLGC平台，并在两个测试系统中展示了在动态制动和低压切负荷方面卓越的鲁棒性和自适应能力，即使在模型不确定性与观测噪声下，其性能也优于传统方法。

ABSTRACT

Power system emergency control is generally regarded as the last safety net for grid security and resiliency. Existing emergency control schemes are usually designed off-line based on either the conceived "worst" case scenario or a few typical operation scenarios. These schemes are facing significant adaptiveness and robustness issues as increasing uncertainties and variations occur in modern electrical grids. To address these challenges, for the first time, this paper developed novel adaptive emergency control schemes using deep reinforcement learning (DRL), by leveraging the high-dimensional feature extraction and non-linear generalization capabilities of DRL for complex power systems. Furthermore, an open-source platform named RLGC has been designed for the first time to assist the development and benchmarking of DRL algorithms for power system control. Details of the platform and DRL-based emergency control schemes for generator dynamic braking and under-voltage load shedding are presented. Extensive case studies performed in both two-area four-machine system and IEEE 39-Bus system have demonstrated the excellent performance and robustness of the proposed schemes.

研究动机与目标

• 解决现代电力系统中高不确定性和高变化性背景下，固定离线紧急控制方案的局限性。
• 开发基于深度强化学习的自适应、实时紧急控制策略，以动态响应系统状态。
• 创建开源基准测试平台（RLGC），以加速DRL在电力系统控制中的研究。
• 证明基于DRL的方案在新场景、模型参数不确定性及观测噪声下的鲁棒性。
• 在自适应能力与性能方面，优于传统方法如Q-learning、模型预测控制（MPC）和继电器控制。

提出的方法

• 将电力系统紧急控制建模为马尔可夫决策过程（MDP），其状态、动作与奖励函数均针对暂态稳定性和电压恢复进行定制。
• 采用深度Q网络（DQN）与近端策略优化（PPO）算法，从高维系统状态中实现端到端学习。
• 设计自定义奖励函数，优先确保电压恢复至标准阈值以上，同时最小化切负荷量。
• 在两区域四机系统与IEEE 39节点系统中，于仿真环境中训练DRL智能体。
• 通过在奖励函数中引入惩罚项，集成安全约束，以防止违反运行极限。
• 开发开源的RLGC平台，以支持DRL算法在电力系统控制中的训练、测试与基准测试。

实验结果

研究问题

• RQ1 基于DRL的紧急控制能否有效适应训练期间未见的系统故障与运行条件？
• RQ2 在电压恢复与切负荷性能方面，基于DRL的控制与传统方法（如UVLS继电器、MPC）相比表现如何？
• RQ3 DRL策略在多大程度上对模型参数不确定性与噪声观测具有鲁棒性？
• RQ4 DRL智能体是否能在不重新训练的情况下泛化至不同扰动场景？
• RQ5 RLGC平台如何实现DRL算法在电力系统控制中可复现且可比较的基准测试？

主要发现

• 基于DRL的紧急控制方案平均响应时间仅为0.13秒，显著快于传统方法，具备实时应用能力。
• 在IEEE 39节点系统中，DRL方法在10%参数不确定性与观测噪声下仍表现出卓越鲁棒性，维持了稳定的电压恢复。
• DRL控制下的电压恢复曲线达到或超过规定标准，同时切负荷量显著低于MPC与UVLS继电器方法。
• DRL策略在未在训练中出现的新故障场景中表现出良好泛化能力，表明其具备强大的泛化性能。
• RLGC平台成功实现了DRL智能体的一致性训练与基准测试，支持可复现性与未来研究的加速。
• 与传统Q-learning相比，DRL方法因具备自动高维特征提取与非线性泛化能力，性能显著更优。