[論文レビュー] Proximal Policy Optimization with Graph Neural Networks for Optimal Power Flow

Ángela López-Cardona, Guillermo Bernárdez+2 more|arXiv (Cornell University)|Dec 23, 2022

Optimal Power Flow Distribution被引用数 6

ひとこと要約

本稿では、非凸な交流潮流最適化問題（ACOPF）を解くために、グラフニューラルネットワーク（GNN）を統合した新規なプロキシマルポリシーオプティマイゼーション（PPO）フレームワークを提案する。GNNを用いて電力網のトポロジーをモデル化し、PPOを用いて最適な制御ポリシーを学習することで、未学習のネットワーク構成に対しても一般化が可能である—負荷変動下ではDCOPFベースライン比1.38倍以内のコスト性能を達成し、最大8本の線路を除去しても実行可能性を維持する。

ABSTRACT

Optimal Power Flow (OPF) is a very traditional research area within the power systems field that seeks for the optimal operation point of electric power plants, and which needs to be solved every few minutes in real-world scenarios. However, due to the nonconvexities that arise in power generation systems, there is not yet a fast, robust solution technique for the full Alternating Current Optimal Power Flow (ACOPF). In the last decades, power grids have evolved into a typical dynamic, non-linear and large-scale control system, known as the power system, so searching for better and faster ACOPF solutions is becoming crucial. Appearance of Graph Neural Networks (GNN) has allowed the natural use of Machine Learning (ML) algorithms on graph data, such as power networks. On the other hand, Deep Reinforcement Learning (DRL) is known for its powerful capability to solve complex decision-making problems. Although solutions that use these two methods separately are beginning to appear in the literature, none has yet combined the advantages of both. We propose a novel architecture based on the Proximal Policy Optimization algorithm with Graph Neural Networks to solve the Optimal Power Flow. The objective is to design an architecture that learns how to solve the optimization problem and that is at the same time able to generalize to unseen scenarios. We compare our solution with the DCOPF in terms of cost after having trained our DRL agent on IEEE 30 bus system and then computing the OPF on that base network with topology changes

研究の動機と目的

• 現代の動的電力システムにおける、高速かつロバストで一般化可能な完全なACOPFソリューションの不足に対処すること。
• 重い負荷や非凸状態下で失敗する、従来の数値的手法および線形DCOPF近似の限界を克服すること。
• 電力網に内在する構造的情報を活用し、一般化性能を向上させるために、グラフニューラルネットワーク（GNN）と深層強化学習（DRL）を統合すること。
• 多様で未学習のネットワークトポロジーにおいても、運用制約を満たしながら潮流最適化を学習するDRLエージェントの開発。
• 負荷変動、線路の除去、トポロジー変更の下で、IEEE 30バス系において提案手法の実行可能性と性能を実証すること。

提案手法

• ノードに母線情報（例：負荷、発電、電圧）を、エッジに送電線を符号化したグラフとして表現した電力網状態に基づいて、PPOに依存するDRLエージェントを訓練する。
• GNNを用いてグラフ構造を符号化し、母線間で情報を伝搬させることで、エージェントがネットワークトポロジーと潮流ダイナミクスを理解できるようにする。
• 状態空間に電力注入、電圧大きさ、線路潮流を含め、行動空間を発電機の有効電力設定値として定義した強化学習環境を構築する。
• 制約違反（例：電圧制限、線路潮流）に対するペナルティと、総発電コストの最小化を目的とした報酬関数を設計する。
• 多様な負荷条件で学習したベースラインIEEE 30バス系を用い、負荷変動や線路の除去を伴う変更されたトポロジーでの一般化性能を検証する。
• 状態表現に共通のエンコーダ（GNN）を、行動選択にポリシーヘッドを用い、PPOのクリッピング目的関数により安定した学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 GNNに基づく状態表現を有するPPOエージェントは、未学習の電力網トポロジーに対しても実行可能性と低コストを維持しながら一般化可能か？
• RQ2 負荷変動およびネットワーク変更下で、提案手法PPO-GNNは標準的なDCOPF近似と比較してどのように性能を発揮するか？
• RQ3 ACOPFにおいて、GNNを統合した手法は、非グラフベースのDRL手法と比較して、一般化性能をどの程度向上させるか？
• RQ4 学習後に主要なネットワーク部品（例：線路や負荷）が除去された場合でも、この手法はロバスト性を保つのか？
• RQ5 明示的な制約満たしの指導なしに、エージェントはすべてのAC潮流制約を満たすポリシーを学習可能か？

主な発見

• 負荷を0.1から0.4 per unitまで増加させた場合、PPO-GNNエージェントはDCOPFベースライン比1.38のコストパフォーマンス比を達成し、負荷変動下での優れた一般化性能を示した。
• 最大50％の負荷を削除した後も、エージェントのコストはDCOPFベースライン比1.05倍以内に保たれ、負荷変動に対するロバスト性を示した。
• 8本（全線路の26.7％）を除去した後も、エージェントはDCOPFベースライン比1.51のコストパフォーマンス比を維持し、トポロジー変更に対する耐性を示した。
• 2～5本の負荷を除去したケースでは、エージェントはDCOPFと同等またはわずかに優れた性能を示し、コスト比が1.00以下となった。これは高い実行可能性と効率性を示している。
• 線路の除去を伴う未学習のトポロジーに対しても、モデルは効果的に一般化した。8本の線路を除去した場合にのみ著しい性能低下が見られたため、極端な構造的変更下での一般化限界が示唆された。
• GNNとPPOの統合により、エージェントは電力網の構造的依存関係を学習可能となり、非グラフベースのDRL手法と比較して優れた一般化性能を達成した。