[論文レビュー] Wide Area Measurement System-based Low Frequency Oscillation Damping Control through Reinforcement Learning

Yousaf Hashmy, Zhe Yu+2 more|arXiv (Cornell University)|Jan 22, 2020

Power System Optimization and Stability参考文献 25被引用数 5

ひとこと要約

本論文は、通信遅延および再生可能エネルギーの不確実性を伴う電力系統における低周波数振動を緩和するために、位相計測装置（PMU）データを用いた強化学習（RL）ベースの広域制御戦略を提案する。深層決定的方策勾配（DDPG）と方策勾配最適化を採用することで、多様な通信チャネルおよび高い再生可能エネルギー導入率下でも、ロバストでスケーラブルかつ解釈可能な減衰制御を実現し、不確実性下でも従来のPID制御およびネットワーク化予測制御を上回る性能を発揮する。

ABSTRACT

Ensuring the stability of power systems is gaining more attraction today than ever before, due to the rapid growth of uncertainties in load and renewable energy penetration. Lately, wide area measurement system-based centralized controlling techniques started providing a more flexible and robust control to keep the system stable. But, such a modernization of control philosophy faces pressing challenges due to the irregularities in delays of long-distance communication channels and response of equipment to control actions. Therefore, we propose an innovative approach that can revolutionize the control strategy for damping down low frequency oscillations in transmission systems. Proposed method is enriched with a potential of overcoming the challenges of communication delays and other non-linearities in wide area damping control by leveraging the capability of the reinforcement learning technique. Such a technique has a unique characteristic to learn on diverse scenarios and operating conditions by exploring the environment and devising an optimal control action policy by implementing policy gradient method. Our detailed analysis and systematically designed numerical validation prove the feasibility, scalability and interpretability of the carefully modelled low-frequency oscillation damping controller so that stability is ensured even with the uncertainties of load and generation are on the rise.

研究の動機と目的

• 再生可能エネルギーの統合拡大に伴う現代電力系統における低周波数振動の増加する課題に対処すること。
• 従来の集中型広域減衰制御の限界、特に変動する通信遅延や装置応答の非線形性への感受性を克服すること。
• 正確なシステムモデルに依存せずに、動的システム環境との相互作用を通じて最適制御方策を学習するロバストで適応可能な制御戦略を開発すること。
• マイクロ波、光ファイバ、通信衛星、電力線載波などの多様な通信チャネルおよび確率的遅延下でも、システムの安定性と可観測性を保証すること。
• 高再生可能エネルギー導入率下の大型非線形電力系統において、RLベース制御のスケーラビリティとリアルタイム実装可能性を実証すること。

提案手法

• 制御意思決定のためのリアルタイムでシステムワイドな状態情報として、PMUからの広域計測システム（WAMS）データを活用する。
• 深層決定的方策勾配（DDPG）強化学習を用い、システム状態から最適制御行動へのマッピングを学習する確率的制御方策を実装する。
• 連続的制御行動を扱うために、高次元状態空間における関数近似として深層ニューラルネットワークを用い、方策勾配最適化を適用する。
• 通信遅延をガウス・ミックスチャネルとして確率過程としてモデル化し、長距離伝送における現実的な不確実性を再現する。
• 振動振幅と定常周波数からの逸脱をペナルティ化する報酬関数を設計し、迅速な減衰とシステム安定性を促進する。
• さまざまな再生可能エネルギー導入率および通信チャネルタイプ下で、マルチマシン電力系統モデルを用いて制御器を検証する。

実験結果

リサーチクエスチョン

• RQ1 変動する通信遅延下でも、強化学習ベースの制御器は大型電力系統における低周波数振動を効果的に減衰させることができるか？
• RQ2 高再生可能エネルギー導入率および不確実な遅延下で、提案されたRL制御器は従来のPID制御およびネットワーク化予測制御（NPC）と比較してどのように性能を発揮するか？
• RQ3 RLエージェントは、多様な運転条件および確率的遅延の探索を通じて、どれほどロバストな制御方策を学習できるか？
• RQ4 マイクロ波、光ファイバ、通信衛星、電力線載波リンクを含むさまざまな通信媒体において、DDPGベースの制御器は安定性と性能を維持できるか？
• RQ5 学習時に一定遅延と不確実な遅延の両方を想定した場合、トレーニング時間とロバスト性のトレードオフはどのように変化するか？

主な発見

• DDPGベースのRL制御器は、高再生可能エネルギー導入率下でも、マイクロ波、光ファイバ、通信衛星、電力線載波のすべての通信チャネルで低周波数振動を効果的に減衰させた。
• PIDおよびNPC制御器が電力線載波遅延下で振動が増大しシステムを安定化できなかったのに対し、RL制御器は安定性を維持し、完全な減衰を達成した。
• ガウス・ミックスとしてモデル化された変動遅延下では、固定遅延ケースと比較してトレーニングエピソードを要したが、より優れたロバスト性と一般化性能を達成した。
• すべてのテストケースにおいて、PIDおよびNPC制御器を上回る性能を発揮した。特に、マイクロ波および光ファイバリンクでは迅速な減衰を実現し、通信衛星および電力線載波チャネルでも安定した性能を示した。
• 本手法はスケーラビリティと解釈可能性を示し、通信遅延および再生可能エネルギーの不確実性が顕著であっても、システムの可観測性と安定性を維持した。
• 結果から、RLベースの制御器が非線形性、モデル不確実性、確率的遅延に対してレジリエントであることが確認され、実世界の広域減衰制御応用に適していることが示された。