[論文レビュー] Reinforcement Learning for Electricity Network Operation

Adrian Kelly, Aïdan O'Sullivan+2 more|arXiv (Cornell University)|Mar 16, 2020

Smart Grid Energy Management参考文献 12被引用数 7

ひとこと要約

本論文は、強化学習（RL）を用いてシミュレーテッド環境内でのリアルタイム電力網運用を最適化する、L2RPN 2020チャレンジを提示する。IEEE-14をIEEE-118に拡張し、再ディスpatch（redispatch）行動を導入することで、脱炭素化された電力システムにおける安全で費用効果の高い制御方策を学習可能なRLエージェントを可能にし、電力システム分野と機械学習分野の協働を促進する。

ABSTRACT

This paper presents the background material required for the Learning to Run Power Networks Challenge. The challenge is focused on using Reinforcement Learning to train an agent to manage the real-time operations of a power grid, balancing power flows and making interventions to maintain stability. We present an introduction to power systems targeted at the machine learning community and an introduction to reinforcement learning targeted at the power systems community. This is to enable and encourage broader participation in the challenge and collaboration between these two communities.

研究の動機と目的

• リアルタイム電力送電網制御における強化学習（RL）の潜在的可能性を、安全で、セキュアで、費用効果の高い方法で評価すること。
• 再生可能エネルギーの統合拡大に伴う電力システム運用の複雑化に対処すること。
• 共通のベンチマークチャレンジを通じて、電力システム工学と機械学習の分野の間のギャップを埋めることで協働を促進すること。
• リアルな電力網ダイナミクス上でRLエージェントのトレーニングとテストが行えるオープンソースのシミュレーション環境（Grid2Op）の開発および導入すること。
• 特に脱炭素化および電気化のトレンドが進む中で、実世界の電力システム運用へのRL手法の実用的導入を前進させること。

提案手法

• 本チャレンジは、電力システムのダイナミクスをモデル化し、RLエージェントとネットワークとの相互作用を可能にするオープンソースのシミュレーション環境「Grid2Op」を用いる。
• エージェントは、送電線のスイッチングなどのトポロジー変更行動および、発電機出力の調整を行う再ディスパッチ（redispatch）行動によってネットワークを制御する。
• 環境はニュートン・ラプソン法を用いてリアルタイムの潮流計算をシミュレートし、線路の熱容量制限などのセキュリティ制約を適用する。
• 物理的インfraストラクチャへのリスクを回避するため、トレーニングはシミュレーテッド環境で実施され、線路負荷の最小化とネットワーク障害の回避に基づく報酬が設定される。
• 実世界の変動性を反映するために、決定論的および確率論的（stochastic）な負荷および発電プロファイルをサポートする。
• チャレンジはベンチマークプロトコルを用い、複数のテストケースにおいてエージェントのパフォーマンスに基づいてスコアが付けられ、いかなる事象や障害に対してもスコアはゼロとなる。

実験結果

リサーチクエスチョン

• RQ1 強化学習エージェントは、セキュリティを維持しながら、IEEE-118規模の大規模電力網をリアルタイムで運用できるか？また、運用コストを最小限に抑えることができるか？
• RQ2 脱炭素化電力システムに特徴的な確率的負荷および発電パターンに対し、RLエージェントはどの程度効果的に対処できるか？
• RQ3 人間の運用者や従来の最適潮流（OPF）手法では明らかでない、柔軟で費用効果の高い制御戦略をRLエージェントが発見できるか？
• RQ4 トポロジー制御のみと比較して、再ディスパッチ（redispatch）行動はエージェントのパフォーマンス向上にどの程度寄与するか？
• RQ5 リアルなシミュレーション環境において、予期しない負荷および発電シナリオに対し、RLエージェントはどの程度の耐性を示すか？

主な発見

• L2RPN 2020チャレンジは、IEEE-14からIEEE-118へのベンチマーク拡張に成功し、状態空間および行動空間の複雑性が顕著に向上した。
• 再ディスパッチ（redispatch）行動の導入により、線路負荷の最小化と運用効率の向上という点で、エージェントのパフォーマンスが向上した。
• 多数のチームが深層Qラーニングやその他の深層強化学習手法を用いて、電力網制御におけるRLの実現可能性を示す強力なRLエージェントを開発した。
• シミュレーションでトレーニングされたエージェントは、未観測の負荷および発電プロファイルに対しても優れた一般化性能を示し、実世界への展開可能性を示唆した。
• Grid2Op環境は、RLが電力システム分野に応用されるための標準化されたベンチマークとして効果的であった。再現可能な評価と協働を可能にした。
• 本チャレンジは、電力システム分野と機械学習分野の研究者間のクロスディシプリナリーな協働を成功裏に促進し、知的グリッド運用分野の前進に貢献した。