[论文解读] Learning and Fast Adaptation for Grid Emergency Control via Deep Meta Reinforcement Learning

Renke Huang, Yujiao Chen+7 more|arXiv (Cornell University)|Jan 13, 2021

Power System Optimization and Stability被引用 5

一句话总结

该论文提出了一种深度元强化学习（DMRL）框架，可在未见过的运行条件和系统参数下实现电力系统紧急控制策略的快速适应。通过将元策略优化与并行增强随机搜索（PARS）算法相结合，该方法学习到一个潜在上下文空间，使策略在15分钟内完成适应，其性能优于标准深度强化学习（DRL），并达到模型预测控制（MPC）的水平，同时支持实时控制决策。

ABSTRACT

As power systems are undergoing a significant transformation with more uncertainties, less inertia and closer to operation limits, there is increasing risk of large outages. Thus, there is an imperative need to enhance grid emergency control to maintain system reliability and security. Towards this end, great progress has been made in developing deep reinforcement learning (DRL) based grid control solutions in recent years. However, existing DRL-based solutions have two main limitations: 1) they cannot handle well with a wide range of grid operation conditions, system parameters, and contingencies; 2) they generally lack the ability to fast adapt to new grid operation conditions, system parameters, and contingencies, limiting their applicability for real-world applications. In this paper, we mitigate these limitations by developing a novel deep meta reinforcement learning (DMRL) algorithm. The DMRL combines the meta strategy optimization together with DRL, and trains policies modulated by a latent space that can quickly adapt to new scenarios. We test the developed DMRL algorithm on the IEEE 300-bus system. We demonstrate fast adaptation of the meta-trained DRL polices with latent variables to new operating conditions and scenarios using the proposed method and achieve superior performance compared to the state-of-the-art DRL and model predictive control (MPC) methods.

研究动机与目标

• 解决深度强化学习（DRL）智能体在电网运行条件变化时缺乏快速适应能力的问题。
• 克服现有DRL方法在面对显著不同的运行条件或系统参数时泛化能力不足的局限。
• 通过结合元学习与可扩展的DRL训练，实现实时、可靠的紧急控制，用于电压稳定与负荷切除非。
• 证明元训练策略可在无需从头再训练的情况下，快速适应未见过的系统故障、参数和潮流条件。
• 实现与模型预测控制（MPC）相当的性能，同时将计算延迟降低至满足实时运行需求。

提出的方法

• 将元策略优化（MSO）与并行增强随机搜索（PARS）算法结合，训练一个可在多种电网场景中泛化的元策略。
• 使用潜在空间表示来条件化控制策略，通过元训练过程中学习的上下文向量实现在新环境中的快速适应。
• 在元学习过程中，使用电网运行条件、系统参数和故障情景的分布进行训练，以模拟现实世界中的不确定性。
• 将训练过程分解为元优化和适应两个阶段：在多样化场景下进行元训练，随后仅通过少量环境观测实现快速适应。
• 利用神经网络推理的计算效率实现实时动作选择，与MPC的高计算成本形成对比。
• 将该方法应用于IEEE 300节点系统，通过负荷切除非实现对故障引起的延迟电压恢复（FIDVR）事件的校正控制。

实验结果

研究问题

• RQ1 能否训练一个深度强化学习智能体，在无需重新训练的情况下，快速适应新的、未见过的电网运行条件和系统参数？
• RQ2 与标准DRL和模型预测控制（MPC）相比，元学习的DRL策略在电压恢复和负荷切除非效率方面的表现如何？
• RQ3 所提出的DMRL框架在保持或提升控制有效性的同时，能在多大程度上缩短适应时间？
• RQ4 潜在上下文空间是否能比标准DRL在多样化故障和系统参数下实现更好的泛化能力？
• RQ5 DMRL框架是否能在MPC过于缓慢的紧急场景中实现实时控制决策？

主要发现

• DMRL方法在15分钟内完成对新电网条件的快速适应，与从头再训练相比，适应时间显著缩短。
• 在94.69%的测试场景中，DMRL优于标准PARS DRL方法，各类运行条件下奖励差异均有利于DMRL。
• 在PARS失败的88个场景中，DMRL成功实现了电压稳定，尤其在高影响、未见过的故障条件下表现突出。
• 对于三相故障事件，基于DMRL的控制器总奖励为-2715，优于PARS的-25833，且与MPC的-2742相当。
• DMRL在测试中的推理时间少于1秒，而MPC需63.31秒，证明了其具备实时可行性。
• 与PARS相比，DMRL将负荷切除非减少了10%，同时达到MPC的最优切除非水平，表明控制效率更高。