[論文レビュー] Learning to run a power network challenge for training topology controllers

Antoine Marot, Benjamin Donnot+5 more|arXiv (Cornell University)|Dec 5, 2019

Optimal Power Flow Distribution参考文献 15被引用数 60

ひとこと要約

本論文は、模倣学習と強化学習を用いて電力網のトポロジー制御エージェントを学習するための枠組みを提案し、IEEE14に基づく環境を用いた Learning to Run a Power Network (L2RPN) コンペティションの初回を報告するとともに、最適化のギャップを示すオラクル上限分析を行う。

ABSTRACT

For power grid operations, a large body of research focuses on using generation redispatching, load shedding or demand side management flexibilities. However, a less costly and potentially more flexible option would be grid topology reconfiguration, as already partially exploited by Coreso (European RSC) and RTE (French TSO) operations. Beyond previous work on branch switching, bus reconfigurations are a broader class of action and could provide some substantial benefits to route electricity and optimize the grid capacity to keep it within safety margins. Because of its non-linear and combinatorial nature, no existing optimal power flow solver can yet tackle this problem. We here propose a new framework to learn topology controllers through imitation and reinforcement learning. We present the design and the results of the first "Learning to Run a Power Network" challenge released with this framework. We finally develop a method providing performance upper-bounds (oracle), which highlights remaining unsolved challenges and suggests future directions of improvement.

研究の動機と目的

• 再生可能エネルギーの統合と需要変動の中で、グリッドを安全マージン内に保つ柔軟で費用対効果の高い手段としてトポロジー再構成を促進する。
• リアルタイムの電力系環境で動作するトポロジー制御エージェントを学習・ベンチマークするプラットフォームを提供する。
• 継続的でほぼリアルタイムのグリッド最適化における強化学習および関連AI手法の実現可能性と頑健性を探る。
• 提出されたエージェントが最適なトポロジー制御性能にどれだけ近いかを定量化するオラクルベースの上限を提供する。

提案手法

• IEEE14に基づくトップロジーアクション（ラインスイッチングとバススイッチング）とリアルタイム注入を備えたオープンソースの合成電力網環境。
• 未観測の入力、観測された注入、トポロジー、および出力（フローと過負荷）を捉える二要因マルコフ決定過程として問題を定式化。
• 不法な行動や連鎖故障を抑制しつつ残余グリッド容量を最大化することを目的としたリアルタイム報酬/スコア関数を定義。
• 6週間のCodalab競技会の中で、強化学習、エキスパートシステム、木探索など多様なエージェントを実装・評価。
• エージェントの挙動、アクション空間縮小戦略、および頑健性の分析；パフォーマンス境界のためのオラクル経路ベースの上限との比較。
• 上位エントラントの間でA3C（actor-critic）とdueling DQNアーキテクチャを使用し、カリキュラム学習と専門ルールのガイダンスを組み合わせて安定性と性能を向上。

実験結果

リサーチクエスチョン

• RQ1 安全性と運用制約の下で、RLおよび関連AI手法はリアルタイムのグリッド運用に有効なトポロジー制御方針を学習できるか？
• RQ2 トポロジー再構成タスクにおけるアクション空間設計とエキスパート事前知識が学習効率と方針の頑健性に与える影響は何か？
• RQ3 学習済みエージェントは最適なトポロジー軌道にどれだけ近づけるか、オラクル上限とのギャップはどれほどか？
• RQ4 シナリオのどの特徴（難易度、期間、過負荷のタイミング）が現在のアプローチに最も挑戦をもたらすか？
• RQ5 チャレンジベースのベンチマークは電力系統のトポロジー制御研究を前進させる生産的なプラットフォームを提供するか？

主な発見

• RLベースのアプローチが競技参加者の中で最良の結果を達成した。
• 上位チームにはLB（dueling DQN + prior analysis）とLR（A3Cベースのactor-critic）が含まれ、オープンソースコードを持つ；LRはテスト時にシミュレーションを照会せず学習に依存した。
• オラクル経路ベースの上限が、最良エージェントと最適解の間に残る最適化ギャップを明らかにした。
• ほとんどの参加者は探索を制限し、一部のエージェントは変電所の小さなサブセットに焦点を当てたことから、探索と活用のトレードオフが浮き彫りになった。
• AIによるトポロジー制御の実現可能性を示し、将来のベンチマークに向けた頑健性とスケーラビリティのギャップを指摘する。
• 分析は、上位エージェントがテストシナリオを完了できる一方で、成功できない難易度の高いシナリオがいくつか残っており、より大規模なベンチマークを促す。