[论文解读] Multi-Agent Safe Policy Learning for Power Management of Networked Microgrids

Qianzhi Zhang, Kaveh Dehghanpour+3 more|arXiv (Cornell University)|Jul 3, 2019

Microgrid Control and Optimization参考文献 25被引用 6

一句话总结

该论文提出了一种监督式多智能体安全策略学习（SMAS-PL）框架，用于网络化微电网中的最优、约束感知电力管理。通过将交流潮流方程和运行极限整合到分布式策略梯度方法中，该方法通过基于梯度的约束处理确保安全且可行的控制决策，从而无需从头开始求解大规模优化问题即可实现实时调度。

ABSTRACT

This paper presents a supervised multi-agent safe policy learning (SMAS-PL) method for optimal power management of networked microgrids (MGs) in distribution systems. While conventional reinforcement learning (RL) algorithms are black-box decision models that could fail to satisfy grid operational constraints, our proposed method is constrained by AC power flow equations and other operational limits. Accordingly, the training process employs the gradient information of operational constraints to ensure that the optimal control policy functions generate safe and feasible decisions. Furthermore, we have developed a distributed consensus-based optimization approach to train the agents' policy functions while maintaining MGs' privacy and data ownership boundaries. After training, the learned optimal policy functions can be safely used by the MGs to dispatch their local resources, without the need to solve a complex optimization problem from scratch. Numerical experiments have been devised to verify the performance of the proposed method.

研究动机与目标

• 为解决无约束强化学习在微电网控制中可能导致违反电网运行约束的局限性。
• 通过用训练好的策略替代迭代求解器，降低大规模网络化微电网优化中的计算负担。
• 通过使用基于共识的分布式训练框架，维护各微电网之间的数据隐私和所有权。
• 确保所学习的策略在交流潮流约束和系统极限下仍保持可行性和安全性。

提出的方法

• 该方法采用基于深度确定性策略梯度（DDPG）的监督式多智能体安全策略学习（SMAS-PL）框架，并引入约束感知策略优化。
• 将交流潮流方程和运行极限（电压、线路潮流、储能、DG极限）作为策略梯度更新中的显式约束。
• 利用约束回报函数的梯度信息，惩罚违反系统极限的策略更新，从而确保安全策略的生成。
• 采用基于共识的分布式优化算法，实现在微电网之间的协作训练，同时保护本地数据隐私和所有权。
• 策略参数化为控制动作上的多变量正态分布，其均值和协方差通过期望奖励和约束满足度的梯度上升进行更新。
• 通过潮流方程的敏感性分析，计算约束回报（如电压、电流、潮流极限）相对于控制动作的梯度。

实验结果

研究问题

• RQ1 能否设计一种多智能体强化学习框架，确保在不违反交流潮流或运行约束的前提下，实现网络化微电网中的安全且可行的控制决策？
• RQ2 在协作策略训练过程中，如何保护分布式微电网之间的隐私和数据所有权？
• RQ3 所学习的策略在多大程度上可以替代大规模微电网协调中的实时优化，同时保持可行性和性能？
• RQ4 与无约束强化学习相比，引入系统约束的梯度信息在多大程度上提升了策略的安全性和收敛性？
• RQ5 与基线强化学习和基于模型的优化相比，其在成本降低和约束违反规避方面的性能提升如何？

主要发现

• SMAS-PL方法成功生成了满足所有交流潮流和运行约束的控制策略，包括电压限制、线路潮流限制以及储能运行边界。
• 该方法通过避免实时求解大规模优化问题，显著降低了计算成本，实现了更快的决策速度。
• 数值实验表明，所学习的策略实现了接近最优的成本性能，与基线启发式策略相比，柴油燃料成本降低了98.7%。
• 在部署过程中，约束违规被有效消除，因为策略通过基于梯度的约束处理进行训练，确保了安全性。
• 基于共识的分布式训练保持了数据隐私，各微电网仅共享模型参数，而非原始运行数据。
• 该方法对系统不确定性及动态负荷变化表现出鲁棒性，在多个测试案例中均保持了稳定性能。