[論文レビュー] PowerGym: A Reinforcement Learning Environment for Volt-Var Control in Power Distribution Systems

Ting-Han Fan, Xian Yeow Lee+1 more|arXiv (Cornell University)|Sep 8, 2021

Optimal Power Flow Distribution参考文献 27被引用数 11

ひとこと要約

PowerGym は、IEEE ベンチマークネットワーク（13Bus, 34Bus, 123Bus, 8500Node）を基盤とし、カスタマイズ可能な物理的制約を備えた、オープンソースで Gym 互換の強化学習環境であり、放射状配電系統におけるバーレート制御を対象としている。PPO や SAC を用いた複数のシステム変種における体系的実験により、制御性能の定量的トレードオフが裏付けられた、スケーラブルで安全かつ拡張可能な訓練を可能にする。実際の電圧および電力損失の目的関数を用いた公平な RL アルゴリズムのベンチマーク評価が可能である。

ABSTRACT

We introduce PowerGym, an open-source reinforcement learning environment for Volt-Var control in power distribution systems. Following OpenAI Gym APIs, PowerGym targets minimizing power loss and voltage violations under physical networked constraints. PowerGym provides four distribution systems (13Bus, 34Bus, 123Bus, and 8500Node) based on IEEE benchmark systems and design variants for various control difficulties. To foster generalization, PowerGym offers a detailed customization guide for users working with their distribution systems. As a demonstration, we examine state-of-the-art reinforcement learning algorithms in PowerGym and validate the environment by studying controller behaviors. The repository is available at \url{https://github.com/siemens/powergym}.

研究の動機と目的

• 配電系統におけるバーレート制御のための標準化された、公開可能な強化学習環境の不足に対処すること。
• IEEE ベンチマークシステムに基づく共通のオープンプラットフォームを提供することで、電力系統研究者間での RL アルゴリズムの公平な比較を可能にすること。
• 独自の配電系統モデルとの統合を可能にする詳細なカスタマイズガイドを提供することで、実運用への展開を支援すること。
• 環境の構成可能な変異を用いることで、RL に基づく制御戦略の一般化とスケーラビリティを促進すること。
• PPO や SAC といった最先端のアルゴリズムを用いた体系的 RL 実験を通じて、環境の忠実性と実用性を検証すること。

提案手法

• PowerGym は、既存の RL フレームワークとのシームレスな統合を可能にする Gym に類似した API を実装しており、reset、step、render 機能を備える。
• 電力潮流方程式（式 1）を用いて、放射状ネットワークとして配電系統をモデル化し、有効電力・無効電力、電圧大きさ、電流大きさなどの物理的制約を組み込む。
• 4 つの標準的な IEEE テストシステム（13Bus, 34Bus, 123Bus, 8500Node）をサポートしており、負荷スケーリング、基準電圧違反、バッテリーソート・オブ・チージャー（SOC）ペナルティの変更が可能である。
• 制御の難易度と現実性を調整するための 4 つの主要な環境ハイパーパrameter（負荷スケール、基準電圧違反、ホライズン長、SOC ペナルティ）を導入している。
• 報酬関数は、電力損失の最小化、電圧違反ペナルティ、バッテリー SOC エラーの組み合わせにより、ポリシー学習を誘導する。
• 安全でファイル制約付きの実行を可能にすることで並列学習を実現し、コントローラーの挙動とシステム状態の監視に役立つ可視化ツールを提供する。

実験結果

リサーチクエスチョン

• RQ1 PowerGym の設計は、配電系統におけるバーレート制御のための RL アルゴリズムの公平で再現可能なベンチマーク評価をどのように可能にしているか？
• RQ2 負荷スケール、基準電圧違反、SOC ペナルティといった環境ハイパーパrameter が、RL エージェントの難易度とパフォーマンスに与える影響は何か？
• RQ3 PPO や SAC などの異なる RL アルゴリズムは、PowerGym のさまざまなシステムサイズと環境設定において、どのように性能を発揮するか？
• RQ4 カスタマイズを通じて、PowerGym の構造は、実世界の独自の配電系統に一般化するのにどの程度支援するか？
• RQ5 高負荷環境において、電圧違反の低減とバッテリー活動の間にはどのようなトレードオフが生じるのか？そのトレードオフは学習結果にどのように反映されるか？

主な発見

• RL エージェントの累積報酬はホライズン長に比例的に増加し、20,000 ステップにおける h96 は h24 の約 4 倍の累積報酬を達成している。
• 8500Node システムは、長時間ホライズン下で 123Bus よりも収束が遅く、高い不安定性とより顕著な電圧違反傾向を示している。
• 負荷スケーリングの上昇は、電力損失と電圧違反を増加させ、特に 8500Node のような大規模システムでは制御が著しく困難になる。
• バッテリー放電活動と電圧違反の間にトレードオフが存在する：高いバッテリー活動（例：s2.5）の環境では、電圧違反は低減するが、SOC エラーが高くなる。
• SOC ペナルティは非定常なバッテリー挙動を導入し、訓練の難易度を高める。これは、cbat_soc_s2.5 では非ペナルティ版と比較して SOC エラーの分散が高くなることで裏付けられている。
• 環境の設計は並列学習を効果的にサポートしており、コントローラー挙動の有意義な分析を可能にした。PPO と SAC は、すべてのテストシステムで安定した学習曲線を達成した。