[論文レビュー] Reinforcement Learning for Distributed Transient Frequency Control with Stability and Safety Guarantees

Zhenyi Yuan, Changhong Zhao+1 more|arXiv (Cornell University)|Jul 7, 2022

Power System Optimization and Stability被引用数 5

ひとこと要約

本稿では、漸近的安定性と一時的周波数安全性を保証する強化学習（RL）に基づく分散型一時的周波数制御手法を提案する。ラプラシアンと安全性を重視する制御フレームワーク内に動的予算割り当て機構を導入することで、より保守的でない安定性条件が可能となり、ニューラルネットワーク制御器が強化学習により周波数偏差と制御コストを最小化するように訓練可能となる。また、IEEE 39バス系統のテストケースにおいて、システム全体の安全性と安定性を確保する。

ABSTRACT

This paper proposes a reinforcement learning-based approach for optimal transient frequency control in power systems with stability and safety guarantees. Building on Lyapunov stability theory and safety-critical control, we derive sufficient conditions on the distributed controller design that ensure the stability and transient frequency safety of the closed-loop system. Our idea of distributed dynamic budget assignment makes these conditions less conservative than those in recent literature, so that they can impose less stringent restrictions on the search space of control policies. We construct neural network controllers that parameterize such control policies and use reinforcement learning to train an optimal one. Simulations on the IEEE 39-bus network illustrate the guaranteed stability and safety properties of the controller along with its significantly improved optimality.

研究の動機と目的

• 低慣性電力系統における一時的周波数調整のための分散制御方策を設計し、安定性および一時的周波数安全性を保証すること。
• 分散型動的予算割り当て機構を導入することで、安定性および安全性制約の保守的さを低減すること。
• 強化学習を活用し、周波数偏差と制御コストを最適化するが、安定性および安全性制約を満たすニューラルネットワーク制御器を訓練すること。
• 完全および部分的な摂動情報の下で、IEEE 39バス系統上での手法の妥当性を検証すること。
• 制御器設計におけるリプシッツ正則化を用いて、測定ノイズに対する耐性を高めること。

提案手法

• 安定性および安全性制約の下で周波数偏差と制御コストを最小化する最適化問題として、一時的周波数制御問題を定式化する。
• ラプラシアン安定性理論および安全性を重視する制御を用いて、安定性および一時的安全性の十分条件を導出し、各バスごとの分散型予算制約として表現する。
• 各バスが摂動負荷を共有しつつも、システム全体の安定性および安全性を維持できる動的予算割り当て機構を導入する。
• 安定性および安全性条件から導かれる構造的制約を備えたニューラルネットワーク制御器を構築し、方策の妥当性を保証する。
• 再帰的ニューラルネットワーク（RNN）に基づく強化学習フレームワークを用いて制御器パラメータを訓練し、性能とコストのバランスを取る報酬関数を採用する。
• 強化学習の訓練プロセスにおいて、周波数測定ノイズに対する耐性を高めるためにリプシッツ正則化を適用する。

実験結果

リサーチクエスチョン

• RQ1 分散型強化学習制御器を設計することで、電力系統において漸近的安定性および一時的周波数安全性を保証できるか？
• RQ2 分散型予算配分機構により、安定性および安全性制約の保守的さをどのように低減できるか？
• RQ3 提案手法は、コスト、収束速度、一時的性能の観点から、従来のRLおよび制御ベースの手法に比べてどの程度優れているか？
• RQ4 摂動位置が部分的または不明な状況下で、制御器はどのように動作するか？
• RQ5 リプシッツ正則化は、強化学習ベースの制御器における周波数測定ノイズへの耐性を向上させることができるか？

主な発見

• 提案手法RLbは、漸近的安定性および一時的周波数安全性を保証しており、コストは1.1628であり、[5]の手法の2.2054に比べ顕著に低い。
• RLb手法は、安全性の強化のおかげで、[5]の手法よりも収束が速く、一時的周波数の揺らぎも小さいが、[9]の手法よりもコストが高い。
• 動的予算割り当て機構により、収束時に個々のバスの予算が消滅するが、合計はゼロ和を維持するため、制御効率を向上させつつ協調制御が可能となる。
• 部分的摂動情報（RLb*）の下でも、コスト1.1721を維持しながら安定性および安全性を確保しており、摂動位置の不確実性に対しても耐性があることが示された。
• リプシッツ正則化により、測定ノイズ下での状態および制御の揺らぎが低減され、安全性や安定性を損なわず、耐性が向上した。
• IEEE 39バス系統におけるシミュレーションにより、RLb制御器が優れた最適性を達成するとともに、安定性および安全性の保証を厳密に満たしていることが確認された。