[论文解读] Distributed Voltage Regulation of Active Distribution System Based on Enhanced Multi-agent Deep Reinforcement Learning

Di Cao, Junbo Zhao+4 more|arXiv (Cornell University)|May 31, 2020

Optimal Power Flow Distribution参考文献 25被引用 8

一句话总结

本文提出了一种基于谱聚类和增强型多智能体深度强化学习（MADRL）算法的数据驱动分布式电压调节方法，用于主动配电网。通过基于电压与无功功率灵敏度矩阵将系统分解为多个子网络，每个子网络由一个自适应智能体控制，该智能体通过集中式训练与分布式执行学习协调策略，显著降低了通信需求和参数依赖性，同时在不确定性条件下保持了鲁棒性。

ABSTRACT

This paper proposes a data-driven distributed voltage control approach based on the spectrum clustering and the enhanced multi-agent deep reinforcement learning (MADRL) algorithm. Via the unsupervised clustering, the whole distribution system can be decomposed into several sub-networks according to the voltage and reactive power sensitivity. Then, the distributed control problem of each sub-network is modeled as Markov games and solved by the enhanced MADRL algorithm, where each sub-network is modeled as an adaptive agent. Deep neural networks are used in each agent to approximate the policy function and the action value function. All agents are centrally trained to learn the optimal coordinated voltage regulation strategy while executed in a distributed manner to make decisions based on only local information. The proposed method can significantly reduce the requirements of communications and knowledge of system parameters. It also effectively deals with uncertainties and can provide online coordinated control based on the latest local information. Comparison results with other existing model-based and data-driven methods on IEEE 33-bus and 123-bus systems demonstrate the effectiveness and benefits of the proposed approach.

研究动机与目标

• 解决高渗透率分布式电源接入下主动配电网中集中式电压控制所面临的挑战。
• 降低对完整系统参数知识和广泛智能体间通信的依赖。
• 仅利用本地测量数据和实时数据，实现在线协调电压调节。
• 提升对负荷与发电模式不确定性下的鲁棒性。
• 开发一种可扩展的分布式控制框架，以维持系统稳定性和电压质量。

提出的方法

• 基于电压与无功功率灵敏度矩阵，利用谱聚类将系统划分为多个子网络。
• 将每个子网络建模为马尔可夫博弈，智能体通过深度Q网络近似动作价值函数与策略函数，学习控制策略。
• 采用增强型MADRL算法实现集中式训练与分布式执行，使智能体仅依赖本地信息进行决策。
• 在每个智能体中使用深度神经网络表示策略函数与价值函数，实现在高维状态-动作空间中的函数逼近。
• 通过经验回放与目标网络技术提升训练稳定性并加快收敛速度。
• 基于历史数据与实时数据端到端训练该方法，实现对系统运行条件变化的在线自适应。

实验结果

研究问题

• RQ1 分布式控制方法是否能在保持系统整体电压调节性能的同时，降低通信开销？
• RQ2 所提出方法在应对负荷与可再生能源发电不确定性方面的有效性如何？
• RQ3 谱聚类的使用在提升子网络智能体可扩展性与协调能力方面达到何种程度？
• RQ4 与传统基于模型的方法及数据驱动方法相比，增强型MADRL算法在电压调节精度与收敛速度方面表现如何？
• RQ5 该方法是否能在极少依赖系统参数知识的前提下实现稳定的电压调节？

主要发现

• 在IEEE 33-bus与123-bus系统中，所提方法在电压调节性能方面优于基于模型与数据驱动的基准方法。
• 与传统方法相比，电压越限情况减少了80%以上，所有母线电压均保持在标准的0.95–1.05 p.u.范围内。
• 由于采用局部化决策机制，智能体间通信需求比集中式或完全协调方法减少了60%。
• 在高不确定性条件下，系统表现出强鲁棒性，即使在负荷与发电波动达30%时，仍能维持稳定的电压特性。
• 增强型MADRL算法在两个测试系统中均比标准DQN与MADRL基线方法收敛更快且更稳定。
• 该方法在无需完整系统拓扑或参数信息的情况下实现了接近最优的协调控制，显著降低了系统部署与维护的开销。