[论文解读] Model-Free Voltage Regulation of Unbalanced Distribution Network Based on Surrogate Model and Deep Reinforcement Learning

Di Cao, Junbo Zhao+5 more|arXiv (Cornell University)|Jun 24, 2020

Optimal Power Flow Distribution参考文献 23被引用 6

一句话总结

本文提出了一种基于历史数据和深度强化学习（DRL）训练的代理模型的无模型电压调节方法，用于不平衡三相配电网。通过用数据驱动的代理模型替代不准确的物理模型，将功率注入映射为电压波动，该框架使DRL能够通过与代理模型的交互学习最优控制策略，在IEEE 123-母线系统上实现了与基于模型的方法相当的性能，且无需了解系统接线图或参数信息。

ABSTRACT

Accurate knowledge of the distribution system topology and parameters is required to achieve good voltage controls, but this is difficult to obtain in practice. This paper develops a model-free approach based on the surrogate model and deep reinforcement learning (DRL). We have also extended it to deal with unbalanced three-phase scenarios. The key idea is to learn a surrogate model to capture the relationship between the power injections and voltage fluctuation of each node from historical data instead of using the original inaccurate model affected by errors and uncertainties. This allows us to integrate the DRL with the learned surrogate model. In particular, DRL is applied to learn the optimal control strategy from the experiences obtained by continuous interactions with the surrogate model. The integrated framework contains training three networks, i.e., surrogate model, actor, and critic networks, which fully leverage the strong nonlinear fitting ability of deep learning and DRL for online decision making. Several single-phase approaches have also been extended to deal with three-phase unbalance scenarios and the simulation results on the IEEE 123-bus system show that our proposed method can achieve similar performance as those that use accurate physical models.

研究动机与目标

• 解决电压调节中配电网接线图或参数不准确或未知的挑战。
• 开发一种不依赖于配电网精确物理模型的无模型控制框架。
• 将单相DRL电压调节方法扩展至三相不平衡系统。
• 利用历史数据训练代理模型，以捕捉功率注入与电压之间的关系。
• 通过端到端训练代理模型、策略网络和评论家网络，实现在线决策。

提出的方法

• 使用历史功率注入和电压数据训练代理模型，以近似注入与电压偏差之间的非线性关系。
• 代理模型替代物理潮流模型，使DRL能够与系统的数据驱动表示进行交互。
• 采用深度强化学习框架，包括用于策略学习的策略网络和用于价值估计的评论家网络。
• DRL智能体通过与代理模型的持续交互学习最优控制动作，利用经验回放和目标网络以保证稳定性。
• 该框架集成了三个深度神经网络：代理模型、策略网络和评论家网络，通过端到端训练支持在线控制决策。
• 该方法在IEEE 123-母线三相不平衡配电网系统上，于多种负载条件下进行了验证。

实验结果

研究问题

• RQ1 数据驱动的代理模型是否能有效替代不平衡配电网电压调节中对精确物理模型的需求？
• RQ2 当仅基于系统代理模型进行训练时，深度强化学习在学习最优控制策略方面表现如何？
• RQ3 所提出的无模型方法在不平衡三相系统中的性能与基于模型的方法相比有多接近？
• RQ4 该框架是否能够在不掌握系统参数的情况下处理三相不平衡的复杂性？
• RQ5 当在具有固有不确定性的代理模型上训练时，DRL策略的鲁棒性和收敛行为如何？

主要发现

• 尽管缺乏系统接线图和参数信息，所提出的无模型方法在IEEE 123-母线系统上的电压调节性能与基于模型的方法相当。
• 代理模型能有效从历史数据中捕捉非线性电压-注入关系，为DRL训练提供准确的系统表征。
• DRL智能体通过与代理模型的交互，成功学习到稳定且有效的控制策略，在各种运行条件下表现出鲁棒性。
• 该框架将单相DRL电压控制扩展至三相不平衡配电网，保持高性能，且无需假设系统平衡。
• 代理建模与DRL的集成实现了无需依赖精确系统模型或实时测量的在线自适应电压控制。
• 仿真结果证实，该方法在不平衡负载和网络不确定性下仍能将电压维持在可接受范围内。