[論文レビュー] Power Grid Congestion Management via Topology Optimization with AlphaZero

Matthias Dorfer, Anton R. Fuxjäger+3 more|arXiv (Cornell University)|Nov 10, 2022

Complex Network Analysis Techniques被引用数 9

ひとこと要約

本論文では、高価な再ディスpatchを回避するために、電力系統のトポロジー最適化のためのAlphaZeroベースの強化学習エージェントを提案する。動的かつ再構成可能な系統の遮断器制御により、平均的な再ディスパッチを60%削減し、ベースラインコストの40%にまで低減した。伝統的な手法を上回る性能を発揮するとともに、再生可能エネルギー統合型電力系統におけるカーボンフリーコンgestion管理を実現した。

ABSTRACT

The energy sector is facing rapid changes in the transition towards clean renewable sources. However, the growing share of volatile, fluctuating renewable generation such as wind or solar energy has already led to an increase in power grid congestion and network security concerns. Grid operators mitigate these by modifying either generation or demand (redispatching, curtailment, flexible loads). Unfortunately, redispatching of fossil generators leads to excessive grid operation costs and higher emissions, which is in direct opposition to the decarbonization of the energy sector. In this paper, we propose an AlphaZero-based grid topology optimization agent as a non-costly, carbon-free congestion management alternative. Our experimental evaluation confirms the potential of topology optimization for power grid operation, achieves a reduction of the average amount of required redispatching by 60%, and shows the interoperability with traditional congestion management methods. Our approach also ranked 1st in the WCCI 2022 Learning to Run a Power Network (L2RPN) competition. Based on our findings, we identify and discuss open research problems as well as technical challenges for a productive system on a real power grid.

研究の動機と目的

• 風力や太陽光発電などの変動性の高い再生可能エネルギー源に起因する増加する電力系統の混雑を是正すること。
• 高コストかつ炭素排出を伴う化石燃料発電所の再ディスパッチに依存しないこと。
• 強化学習によるトポロジー最適化を用いて、費用がかからず炭素排出のない混雑管理ソリューションを開発すること。
• トポロジー最適化を従来の混雑管理手法と統合し、より高い系統のレジリエンスとコスト効率を実現すること。
• ベンチマークと実世界のユースケースシナリオを用いた実用性の検証。

提案手法

• エージェントは、AlphaZeroのモンテカルロツリー探索（MCTS）と深層強化学習を組み合わせ、最適な系統トポロジー変更を探索する。
• 本手法は、Grid2Op環境からのシミュレートされた系統状態を用いて、自己対戦と自己教師あり学習により方策ネットワークと価値ネットワークを訓練する。
• トポロジー行動は、送電線の遮断器操作として表現され、探索の効率化を図るため、扱いやすい部分集合に行動空間を制限している。
• エージェントは、シミュレートされた系統運用における生存ステップ数を最大化するとともに、再ディスパッチ要件を最小化するように訓練されている。
• 本手法は、WCCI 2022 L2RPNコンペティションの競合環境で評価され、ベースラインおよびハイブリッドエージェントと比較された。
• 複数ステップ・複数候補の是正戦略を可視化できるウェブベースのAI支援制御デモが開発された。

実験結果

リサーチクエスチョン

• RQ1 AlphaZeroベースのエージェントは、高価な再ディスパッチに依存せずに、電力系統のトポロジー最適化を効果的に行えるか？
• RQ2 コスト、レジリエンス、再ディスパッチ削減の観点から、トポロジー最適化は従来の混雑管理手法と比べてどの程度優れているか？
• RQ3 既存の再ディスパッチ戦略とトポロジー最適化をどの程度意味的に統合できるか？
• RQ4 実際の電力系統に本格的に導入するにあたり、このようなエージェントを訓練するにあたり、主な技術的課題は何か？
• RQ5 探索性と系統全体の最適化可能性を向上させるために、行動空間の表現をどのように改善できるか？

主な発見

• AlphaZeroベースのトポロジー・エージェントは、ベースライン手法と比較して、平均的な再ディスパッチ要請電力を60%削減した。
• トポロジー最適化と従来手法を統合したハイブリッドエージェントは、全ステップの82%を生存し、WCCI 2022 L2RPNコンペティションで他すべてを上回った。
• エージェントは混雑管理のための元のベースラインコストのわずか40%にまで低減し、運用コストの大幅な削減を達成した。
• 最良のトポロジー行動は、その後の再ディスパッチと65%の適合性しか示さなかったため、トポロジーと再ディスパッチのポリシーを同時に訓練する必要があることが示唆された。
• エージェントはWCCI 2022 L2RPNコンペティションで1位を獲得し、優れた性能と実用的応用可能性を実証した。
• 本手法は既存の混雑管理システムと相互運用可能であり、複数ステップで解釈可能なレコメンデーションを提供するAI支援制御を可能にした。