[論文レビュー] PowerGridworld: A Framework for Multi-Agent Reinforcement Learning in Power Systems

David Biagioni, Xiangyu Zhang+5 more|arXiv (Cornell University)|Nov 10, 2021

Smart Grid Energy Management被引用数 7

ひとこと要約

PowerGridworld は、グリッド対応コンponents と潮流ソリューションを統合することで、電力システムにおけるマルチエージェント強化学習（MARL）環境の迅速なプロトタイピングを可能にするオープンソースで軽量なフレームワークです。カスタマイズ可能で異種のエージェントをサポートし、RLLib や OpenAI Gym とのシームレスな統合を実現しており、PPO や MADDPG を用いた複雑で現実世界の電力システムシナリオにおける MARL ポリシーの成功した訓練を示しています。

ABSTRACT

We present the PowerGridworld software package to provide users with a lightweight, modular, and customizable framework for creating power-systems-focused, multi-agent Gym environments that readily integrate with existing training frameworks for reinforcement learning (RL). Although many frameworks exist for training multi-agent RL (MARL) policies, none can rapidly prototype and develop the environments themselves, especially in the context of heterogeneous (composite, multi-device) power systems where power flow solutions are required to define grid-level variables and costs. PowerGridworld is an open-source software package that helps to fill this gap. To highlight PowerGridworld's key features, we present two case studies and demonstrate learning MARL policies using both OpenAI's multi-agent deep deterministic policy gradient (MADDPG) and RLLib's proximal policy optimization (PPO) algorithms. In both cases, at least some subset of agents incorporates elements of the power flow solution at each time step as part of their reward (negative cost) structures.

研究の動機と目的

• 異種の電力システムにおけるマルチエージェント強化学習（MARL）ポリシーを訓練するための標準化され柔軟な環境の不足に対処する。
• コンponent レベルの制御とシステムレベルの制約を備えたカスタマイズ可能でグリッド連携型の MARL シミュレーションの迅速なプロトタイピングを可能にする。
• RLLib や OpenAI Gym といった既存の MARL 訓練フレームワークとの統合を支援し、研究と導入の加速を図る。
• 将来のレジilient で効率的なエネルギーシステムのための分散型でデータ駆動型の制御ポリシーの開発を促進する。
• 研究者がカスタムデバイスモデルや報酬構造を組み込める「自分でモデルを持ち込む」アプローチを提供し、グリッドの物理的正確性を維持する。

提案手法

• 単一および複数コンponent エージェントの両方をサポートする、拡張性のある Gym ベースの API を設計し、マルチエージェント環境を実装する。
• 各制御ステップで OpenDSS を介して潮流ソリューションを統合し、母線電圧や潮流などのグリッドレベル変数を計算する。
• 潮流結果を組み込んだエージェント固有の観測空間と報酬関数を定義し、電圧や電力制限のソフト制約を含める。
• ユーザー定義の制御ステップ間隔を用いて、リアルタイムまたは準時間単位のグリッドダイナミクスをシミュレートし、配電系統の現実的なシミュレーションを可能にする。
• 局所的目標（例：熱的快適性、負荷シフト）とグリッド支援的目標（例：電圧調整、ピーク負荷低減）を両立させるエージェント報酬関数を実装する。
• RLLib および OpenAI の MADDPG を用いて独立した MARL ポリシーを訓練し、近接ポリシー最適化（PPO）とアドバンテージクリッピングに基づく損失関数を活用する。

実験結果

リサーチクエスチョン

• RQ1 モジュラーでオープンソースのフレームワークは、複雑で異種の電力システムにおけるマルチエージェント RL ポリシーの開発をどれほど加速できるか？
• RQ2 エージェント報酬がリアルタイムの潮流ソリューションとグリッド制約に依存する場合、MARL ポリシーはどの程度効果的に訓練できるか？
• RQ3 共通のグリッド変数（例：最小母線電圧）を通じた緩い結合性が、MARL における訓練の安定性と収束性にどの程度影響を与えるか？
• RQ4 PowerGridworld は、1 つの統合シミュレーション環境内に、建物、太陽光パネル、EV 充電ステーションといった多様なエージェントタイプをサポートできるか？
• RQ5 このフレームワークは、ハイパフォーマンスコンピューティングおよび既存の MARL 訓練パイプライン（例：RLLib や OpenAI Gym）とどの程度良好に統合できるか？

主な発見

• PowerGridworld は、OpenDSS を用いた統合された潮流ソリューションにより、異種でグリッド連携型の MARL 環境の構築に成功している。
• グリッド依存の報酬（例：電圧制約）を持つエージェントに対する独立した PPO ポリシーの訓練は、顕著な非定常性の問題を伴わず安定して収束した。
• フレームワークは、熱制御が可能なスマートビル、制御可能な太陽光パネルアレイ、動的負荷プロファイルを有する EV 充電ステーションを含む、多様なエージェントタイプをサポートしている。
• 報酬関数は、局所的目標（例：熱的快適性、充電需要）とグリッド支援的目標（例：ピーク負荷低減、電圧調整）を効果的にバランスさせている。
• RLLib との統合により、ハイパフォーマンスコンピューティングリソースを活用したスケーラブルな訓練が可能となり、本番環境向け MARL パイプラインとの互換性を示した。
• フレームワークのモジュラー設計と Gym API により、電力システムの文脈において、新規のコンponent モデルや MARL アルゴリズムの迅速な実験が可能になった。