[論文レビュー] Autonomous Voltage Control for Grid Operation Using Deep Reinforcement Learning

Ruisheng Diao, Zhiwei Wang+4 more|arXiv (Cornell University)|Apr 24, 2019

Smart Grid Security and Resilience参考文献 9被引用数 16

ひとこと要約

本稿では、深層強化学習（DRL）を用いた自律的電圧制御フレームワーク「Grid Mind」を提案する。DRLエージェントはIEEE 14バス系統における広範なオフラインシミュレーションを通じて最適な制御方策を学習し、負荷・発電の変動やネットワークトポロジーの変化に適応可能であり、数万件に及ぶシナリオにおいて安全でリアルタイムな電圧制御を高い性能で実現する。

ABSTRACT

Modern power grids are experiencing grand challenges caused by the stochastic and dynamic nature of growing renewable energy and demand response. Traditional theoretical assumptions and operational rules may be violated, which are difficult to be adapted by existing control systems due to the lack of computational power and accurate grid models for use in real time, leading to growing concerns in the secure and economic operation of the power grid. Existing operational control actions are typically determined offline, which are less optimized. This paper presents a novel paradigm, Grid Mind, for autonomous grid operational controls using deep reinforcement learning. The proposed AI agent for voltage control can learn its control policy through interactions with massive offline simulations, and adapts its behavior to new changes including not only load/generation variations but also topological changes. A properly trained agent is tested on the IEEE 14-bus system with tens of thousands of scenarios, and promising performance is demonstrated in applying autonomous voltage controls for secure grid operation.

研究の動機と目的

• 再生可能エネルギーの増加と需要応答の拡大に伴い、現代の電力系統における安全かつ経済的な運用の課題に対処すること。
• 静的でオフラインのルールに依存する従来の制御システムが、リアルタイムの系統ダイナミクスに適応できないという限界を克服すること。
• リアルタイムでの系統モデル更新を必要とせず、最適な電圧制御方策を学習可能な自律的・適応的制御フレームワークの開発。
• 負荷や発電の変動、ネットワークトポロジーの変更を含む多様な運用条件下でも高い頑健性を発揮すること。
• 複雑な電力系統におけるリアルタイムな系統運用制御に、深層強化学習の実用性と有効性を実証すること。

提案手法

• IEEE 14バス系統の大量オフラインシミュレーションを用いてトレーニングされた、深層Qネットワーク（DQN）ベースの強化学習エージェントの設計。
• 母線電圧の大きさ、有効電力・無効電力の注入量、ネットワークトポロジー情報からなる状態空間の定義。
• 主要母線におけるタップチェンジャーおよびシャントコンデンサの制御意思決定としての行動空間の定式化。
• 電圧違反に対するペナルティを課し、安全で安定した運用を促進するとともに制御効率の最小化を図る報酬関数の設計。
• 学習の安定化と収束性の向上を図るため、経験再生とターゲットネットワークを用いたエージェントのトレーニング。
• トレーニング済みの方策をリアルタイムシミュレーション環境に移行し、多様で未知のシナリオにおけるパフォーマンスの評価。

実験結果

リサーチクエスチョン

• RQ1 リアルタイムのシステムモデルに依存せずに、深層強化学習エージェントが効果的な電圧制御方策を学習できるか？
• RQ2 DRLベースのエージェントは、電力系統における未知の負荷変動および発電変動にどの程度一般化できるか？
• RQ3 線路の故障やネットワーク再構成などのトポロジー変更に対して、エージェントはどの程度適応できるか？
• RQ4 エージェントは数万件の運用シナリオにわたり、電圧セキュリティをどの程度維持できるか？
• RQ5 本手法は、従来のオフライン制御戦略と比較して、頑健性と適応性の面でどの程度優れているか？

主な発見

• トレーニング済みのDRLエージェントは、数万件のシミュレーションシナリオにわたり、電圧プロファイルを許容範囲内に維持した。
• エージェントは優れた一般化能力を示し、負荷変動および発電変動の両方において安全な運用を維持した。
• 再トレーニングを必要とせず、線路故障などのトポロジー変更に対しても効果的に適応した。
• 極端な運用条件下でも最小限の電圧違反で、高い制御精度と安定性を達成した。
• 動的で不確実な電力系統環境において、従来のオフライン制御手法を上回るパフォーマンスを発揮した。
• 結果から、現代の電力系統における自律的・リアルタイム電圧制御に深層強化学習を活用することが実現可能であることが確認された。