[論文レビュー] Multi-Agent Reinforcement Learning for Active Voltage Control on Power Distribution Networks

Jianhong Wang, Wangkun Xu+3 more|arXiv (Cornell University)|Oct 27, 2021

Optimal Power Flow Distribution被引用数 75

ひとこと要約

論文は有効電圧制御を Dec-POMDP として定式化し、分配網のオープンソース MARL ベンチマークを構築し、実データを用いて複数のネットワーク規模で最先端 MARL アルゴリズムを評価する。

ABSTRACT

This paper presents a problem in power networks that creates an exciting and yet challenging real-world scenario for application of multi-agent reinforcement learning (MARL). The emerging trend of decarbonisation is placing excessive stress on power distribution networks. Active voltage control is seen as a promising solution to relieve power congestion and improve voltage quality without extra hardware investment, taking advantage of the controllable apparatuses in the network, such as roof-top photovoltaics (PVs) and static var compensators (SVCs). These controllable apparatuses appear in a vast number and are distributed in a wide geographic area, making MARL a natural candidate. This paper formulates the active voltage control problem in the framework of Dec-POMDP and establishes an open-source environment. It aims to bridge the gap between the power community and the MARL community and be a drive force towards real-world applications of MARL algorithms. Finally, we analyse the special characteristics of the active voltage control problems that cause challenges (e.g. interpretability) for state-of-the-art MARL approaches, and summarise the potential directions.

研究の動機と目的

• 分散型でスケーラブルな制御を可能にするため、有効電圧制御を Dec-POMDP として定式化する。
• 分配網の MARL をベンチマークするためのオープンソースで構成可能な環境を提供する。
• バリア機能報酬を用いた電圧制約の処理を評価する。
• 実世界の電力網設定におけるMARLのスケーラビリティ、頑健性、解釈性の課題を分析する。

提案手法

• 各PVインバータを部分観測下で動作するエージェントとするDec-POMDPとして問題を定式化する。
• ボウル型、L1型、L2型のバリア機能報酬を含む電圧制約を符号化する報酬を定義する。
• 実公開データに基づくオープンソースの Python 環境と、3つのシナリオ（小規模から大規模へ：エージェント6～38）を構築する。
• 実時間ロードおよびPVデータを用いて現実的で時変する電力注入と電圧を構築する。
• 連続作用を前提として、7つの MARL アルゴリズム（IDDPG、MADDPG、COMA、IPPO、MAPPO、SQDDPG、MATD3）を評価する。
• 従来手法（OPF とドロップ制御）と比較し、バリア機能の影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 MARLは安全域内の電圧を維持しつつ、アクティブ電圧制御のために大規模分散ネットワークへスケールできるか？
• RQ2 電圧バリア機能の異なる組み合わせが、電圧制御（CR）と電力損失（PL）の点でMARLの性能にどう影響するか？
• RQ3 この設定において、MARLは集中型OPFと分散型ドロップ制御とどう比較されるか？
• RQ4 MARLを有効電圧制御に適用する際に生じる課題（解釈性、頑健性など）は何か、またどのように領域知識を統合できるか？

主な発見

• MADDPGとMATD3は、異なるバリア機能を用いた各シナリオで一般的に良好に機能する。
• ドロップ制御は展開の簡便さの点で強力だが、MARLは全ケースで一貫してそれを上回るわけではなく、OPFにも及ばない。
• ボウル型バリア機能は小規模ネットワークで高い制御可能率を維持しつつ電力損失を低く抑える；バリア機能の選択が結果に大きく影響する。
• L1型は小規模ネットワークで高CRをもたらすことが多いが、大規模ネットワークではPLが増えることがある；L2型は最大規模ネットワークの一部の設定で優勢。
• MARLは33-, 141-, 322-busネットワークへ低制御率要件でスケールするが、解釈性と頑健性は依然として重要な課題である。