[论文解读] Accelerated Deep Reinforcement Learning Based Load Shedding for Emergency Voltage Control

Renke Huang, Yujiao Chen+7 more|arXiv (Cornell University)|Jun 22, 2020

Power System Optimization and Stability参考文献 37被引用 14

一句话总结

本文提出 PARS，一种专为电力系统通过切负荷实现紧急电压控制而优化的加速深度强化学习算法。通过利用无导数优化和 Ray 框架上的并行化，PARS 在 IEEE 300 节点系统上实现 100 倍的训练加速（训练时间从 40 天缩短至 10 小时以内），在解法速度、收敛性和鲁棒性方面优于模型预测控制（MPC）和 PPO，同时保持了出色的可扩展性和泛化能力。

ABSTRACT

Load shedding has been one of the most widely used and effective emergency control approaches against voltage instability. With increased uncertainties and rapidly changing operational conditions in power systems, existing methods have outstanding issues in terms of either speed, adaptiveness, or scalability. Deep reinforcement learning (DRL) was regarded and adopted as a promising approach for fast and adaptive grid stability control in recent years. However, existing DRL algorithms show two outstanding issues when being applied to power system control problems: 1) computational inefficiency that requires extensive training and tuning time; and 2) poor scalability making it difficult to scale to high dimensional control problems. To overcome these issues, an accelerated DRL algorithm named PARS was developed and tailored for power system voltage stability control via load shedding. PARS features high scalability and is easy to tune with only five main hyperparameters. The method was tested on both the IEEE 39-bus and IEEE 300-bus systems, and the latter is by far the largest scale for such a study. Test results show that, compared to other methods including model-predictive control (MPC) and proximal policy optimization(PPO) methods, PARS shows better computational efficiency (faster convergence), more robustness in learning, excellent scalability and generalization capability.

研究动机与目标

• 解决现有深度强化学习（DRL）方法在电力系统紧急控制中计算效率低下和可扩展性差的问题。
• 开发一种快速、自适应且可扩展的基于 DRL 的切负荷策略，用于实时电压稳定性控制。
• 克服现有先进 DRL 算法在大规模电力系统中通常需要数十小时至数天的长训练时间的问题。
• 通过将每控制周期的求解时间缩短至 1 秒以内，实现 DRL 在实时电网运行中的实际部署。
• 确保在各种系统预想故障和未见运行条件下均具备鲁棒性和泛化能力。

提出的方法

• 提出 PARS，一种基于增强随机搜索（ARS）的无导数 DRL 算法，专为电力系统电压稳定性控制而设计。
• 将 PARS 与 Ray 框架集成，实现高达 1,000 个 CPU 核心的高可扩展性和高效并行化。
• 采用前馈神经网络（FNN）和长短期记忆网络（LSTM）作为策略模型，以捕捉非线性动态和时序依赖性。
• 仅通过五个主要超参数优化策略，提升调参和部署的便捷性。
• 利用 RLGC 平台，简化在电力系统仿真中 DRL 策略的训练与部署流程。
• 通过神经网络前向传播实现动作推理，支持亚秒级推理时间，适用于实时控制。

实验结果

研究问题

• RQ1 无导数 DRL 算法是否能在大规模电力系统控制中实现显著快于现有方法的训练收敛速度？
• RQ2 PARS 在训练大规模电力系统策略时，随着 CPU 核心数量增加，其可扩展性表现如何？
• RQ3 PARS 在求解时间、收敛速度和鲁棒性方面，相较于模型预测控制（MPC）和近端策略优化（PPO）的性能优势有多大？
• RQ4 与 FNN 相比，策略网络中使用 LSTM 是否能提升对未见系统故障场景的泛化能力？
• RQ5 PARS 是否能在紧急电压控制场景中实现实时控制性能（每控制周期低于 1 秒）？

主要发现

• PARS 将 IEEE 300 节点系统的训练时间从约 40 天缩短至 10 小时以内，实现 100 倍加速。
• PARS 实现每控制动作 0.72 秒的求解时间，满足实时性要求（每控制周期需低于 0.5 秒）。
• 与 MPC 相比，PARS 在电压恢复性能相当的情况下，计算时间减少 88 倍（0.72 秒 vs. 63.31 秒）。
• PARS 在收敛速度和鲁棒性方面均优于并行 PPO，且在不同随机种子下的训练方差更低。
• PARS 中基于 LSTM 的策略相比基于 FNN 的策略，展现出更高的计算效率和对未见故障场景更好的泛化能力。
• PARS 在高达 1,000 个 CPU 核心范围内几乎线性扩展，未出现性能饱和，展现出极高的并行可扩展性。