[論文レビュー] Multi-Agent Reinforcement Learning for Power Grid Topology Optimization

Erica van der Sar, Alessandro Zocca+1 more|arXiv (Cornell University)|Oct 4, 2023

Optimal Power Flow Distribution被引用数 4

ひとこと要約

本稿では、系統の信頼性とスケーラビリティを向上させるために母線スイッチ操作を用いた、階層的マルチエージェント強化学習（MARL）フレームワークを提案する。複数のエージェントを変電所ごとに配置し、SACDおよびPPOアルゴリズムを活用することで、単一エージェント手法と同等の最適性能を達成するとともに、安定性とネットワーク変更への適応性が向上する。

ABSTRACT

Recent challenges in operating power networks arise from increasing energy demands and unpredictable renewable sources like wind and solar. While reinforcement learning (RL) shows promise in managing these networks, through topological actions like bus and line switching, efficiently handling large action spaces as networks grow is crucial. This paper presents a hierarchical multi-agent reinforcement learning (MARL) framework tailored for these expansive action spaces, leveraging the power grid's inherent hierarchical nature. Experimental results indicate the MARL framework's competitive performance with single-agent RL methods. We also compare different RL algorithms for lower-level agents alongside different policies for higher-order agents.

研究の動機と目的

• 母線および線路のスイッチ操作に起因する巨大な組み合わせ的行動空間を持つ大規模系統における強化学習（RL）のスケーラビリティ課題に対処する。
• 動的系統状態への適応性に制限がある単一エージェントRLおよびルールベースまたはエポック後状態RL手法の限界を克服する。
• 送電ネットワークに内在する階層的構造を活用した協調的マルチエージェントフレームワークを構築し、制御性とスケーラビリティを向上させる。
• 低レベルエージェントにおける異なるMARLアーキテクチャとRLアルゴリズム（SACD、PPO）の性能を比較し、調整のための中レベルポリシー戦略（CAPA、固定、ランダム）を評価する。
• マルチエージェントRLが、単一エージェントベースラインと比較して、より高い安定性と適応性を示しながら最適な系統性能を達成できることを実証する。

提案手法

• 三段階の階層的MARLアーキテクチャを実装する：高レベルでグローバルな調整を担うルールベースエージェント、中レベルで制御対象の変電所を選択するエージェント、低レベルで母線スイッチ操作を実行するエージェント。
• グラフニューラルネットワーク（GNNs）を用いて変電所のトポロジーと潮流状態を符号化し、エージェントがグラフ構造の系統データを処理できるようにする。
• 低レベルRLアルゴリズムとしてSACD（Soft Actor-Critic Discrete）およびPPO（Proximal Policy Optimization）を採用し、集中学習と分散実行（CTDE）を組み合わせることでサンプル効率を向上させる。
• 2つのマルチエージェントバージョンを導入する：独立型PPO（IPPO）および分散型PPO（DPPO）、およびSACDの2つのバージョン：独立型SACD（ISACD）および分散型SACD（DSACD）、協調戦略の評価を目的とする。
• Optunaを用いてハイパーパramータ最適化を実施し、単一エージェント設定からの直接移行よりも性能が向上するようにマルチエージェントのパラメータを調整する。
• Grid2Op環境を用いて、トポロジー変更や事故対応を含む現実的な系統運用をシミュレートし、系統の安全性と負荷潮流安定性に基づく報酬を設定する。

実験結果

リサーチクエスチョン

• RQ1 階層的マルチエージェントRLフレームワークは、スケーラビリティを向上させつつ、単一エージェントRLと同等の性能を達成できるか？
• RQ2 グリッドトポロジー制御に応用した際、マルチエージェント環境における異なる低レベルRLアルゴリズム（SACD対PPO）の性能はいかがなっているか？
• RQ3 異なる中レベル調整ポリシー（CAPA、固定、ランダム）は、MARLシステムの学習安定性と最終的性能にどのような影響を与えるか？
• RQ4 ハイパーパramータチューニングは、単一エージェント設定からのパラメータ移行と比較して、マルチエージェントRLエージェントの性能をどの程度向上させるか？
• RQ5 分散型マルチエージェントアプローチは、単一エージェントまたはエポック後状態RL手法と比較して、ネットワーク変更への適応性をどの程度向上させるか？

主な発見

• ハイパーパramータチューニングを施した分散型SACD（DSACD）エージェントは、単一エージェントSACDと同等の環境相互作用回数で最適スコアを達成し、著しく高い訓練安定性を維持した。
• チューニング済みハイパーパramータを用いたISACDエージェントはピーク性能に達したが、不安定性を示した。これは、マルチエージェント環境におけるSACDがハイパーパramータ選択に極めて敏感であることを示している。
• PPOベースのマルチエージェントエージェント（IPPOおよびDPPO）はSACDよりもハイパーパramータの差にあまり敏感ではなく、両者とも単一エージェントPPOと同等の相互作用回数で最適性能に到達した。
• 中レベルのCAPAポリシーは、固定およびランダムポリシーの両方を上回る学習安定性と最終的性能を示した。一方、ランダムポリシーは最も不安定な訓練ダイナミクスを引き起こした。
• マルチエージェントフレームワークにより、エージェント1つあたりの有効な行動空間が著しく削減され、スケーラビリティが向上し、発電機再配分などの複雑な行動の統合も容易になった。
• 階層的MARLフレームワークは、単一エージェントRLと同等の性能を示したが、特に動的系統状態において、より優れたロバストネスと適応性を提供した。