[论文解读] Multi-Agent Reinforcement Learning for Active Voltage Control on Power Distribution Networks

Jianhong Wang, Wangkun Xu+3 more|arXiv (Cornell University)|Oct 27, 2021

Optimal Power Flow Distribution被引用 75

一句话总结

本论文将主动电压控制建模为一个 Dec-POMDP，构建一个面向配电网的开源多智能体强化学习基准，并在不同网络规模上使用真实数据评估多种最先进的 MARL 算法。

ABSTRACT

This paper presents a problem in power networks that creates an exciting and yet challenging real-world scenario for application of multi-agent reinforcement learning (MARL). The emerging trend of decarbonisation is placing excessive stress on power distribution networks. Active voltage control is seen as a promising solution to relieve power congestion and improve voltage quality without extra hardware investment, taking advantage of the controllable apparatuses in the network, such as roof-top photovoltaics (PVs) and static var compensators (SVCs). These controllable apparatuses appear in a vast number and are distributed in a wide geographic area, making MARL a natural candidate. This paper formulates the active voltage control problem in the framework of Dec-POMDP and establishes an open-source environment. It aims to bridge the gap between the power community and the MARL community and be a drive force towards real-world applications of MARL algorithms. Finally, we analyse the special characteristics of the active voltage control problems that cause challenges (e.g. interpretability) for state-of-the-art MARL approaches, and summarise the potential directions.

研究动机与目标

• 将主动电压控制形式化为 Dec-POMDP，以实现分布式、可扩展控制。
• 提供一个开源、可配置的环境，用于基准 MARL 在配电网络上的性能。
• 评估在 MARL 中通过 barrier-function 奖励处理电压约束的方法。
• 分析在现实电网场景中MARL的可扩展性、鲁棒性和可解释性挑战。

提出的方法

• 将问题形式化为一个 Dec-POMDP，其中每个光伏逆变器作为在部分观测下运行的代理。
• 定义一个 barrier-function 奖励以编码电压约束，包括 Bowl-shape、L1-shape 和 L2-shape 变体。
• 基于真实公开数据构建一个开源的 Python 环境和三个场景（从小到大：6至38个代理）。
• 使用实时负荷和光伏数据构建真实、时变的功率注入和电压。
• 在连续动作下评估七种 MARL 算法（IDDPG、MADDPG、COMA、IPPO、MAPPO、SQDDPG、MATD3）。
• 将 MARL 的性能与传统方法（OPF 和 droop 控制）进行比较，并分析 barrier-function 的影响。

实验结果

研究问题

• RQ1 MARL 是否能够扩展到用于主动电压控制的大型分布式网络，同时保持电压在安全范围内？
• RQ2 不同的电压 barrier 函数在电压控制（CR）和功率损耗（PL）方面如何影响 MARL 的表现？
• RQ3 在此设置中，MARL 与集中式 OPF 和去中心化的 droop 控制相比如何？
• RQ4 将 MARL 应用于主动电压控制时会出现哪些挑战（例如可解释性、鲁棒性），以及如何整合领域知识？

主要发现

• 在不同 barrier 函数的场景中，MADDPG 和 MATD3 通常表现良好。
• 去 droop 控制在部署简易性方面表现强劲，但在所有情形下 MARL 并不始终优于它或 OPF。
• Bowl-shape barrier function 在较小网络上保持高可控比率的同时使功率损耗保持在低水平； barrier function 的选择对结果具有关键影响。
• L1-shape 常在较小网络获得高 CR，但在较大网络可能带来更高的 PL；在某些设定中，L2-shape 在最大网络上占主导。
• MARL 能扩展到 33-, 141-, 和 322-bus 网络，且对控制率要求较低，但可解释性与鲁棒性仍是关键挑战。