[論文レビュー] Safe Reinforcement Learning for Power System Control: A Review

Peipei Yu, Zhenyi Wang+2 more|arXiv (Cornell University)|Jun 30, 2024

Elevator Systems and Control被引用数 5

ひとこと要約

この論文は、安全な強化学習技術の最先端とそれらの電力系統制御への適用を概観し、周波数規制、電圧制御、エネルギー管理における安全な RL の設計、手法、課題を整理する。

ABSTRACT

The large-scale integration of intermittent renewable energy resources introduces increased uncertainty and volatility to the supply side of power systems, thereby complicating system operation and control. Recently, data-driven approaches, particularly reinforcement learning (RL), have shown significant promise in addressing complex control challenges in power systems, because RL can learn from interactive feedback without needing prior knowledge of the system model. However, the training process of model-free RL methods relies heavily on random decisions for exploration, which may result in ``bad" decisions that violate critical safety constraints and lead to catastrophic control outcomes. Due to the inability of RL methods to theoretically ensure decision safety in power systems, directly deploying traditional RL algorithms in the real world is deemed unacceptable. Consequently, the safety issue in RL applications, known as safe RL, has garnered considerable attention in recent years, leading to numerous important developments. This paper provides a comprehensive review of the state-of-the-art safe RL techniques and discusses how these techniques can be applied to power system control problems such as frequency regulation, voltage control, and energy management. We then present discussions on key challenges and future research directions, related to convergence and optimality, training efficiency, universality, and real-world deployment.

研究の動機と目的

• Safe RL 技術の構造的概要と理論的基盤を提供する。
• Safe RL を電力系統制御問題（周波数規制、電圧制御、エネルギー管理）に統合する方法を要約する。
• Safe RL を電力系統で実際に設計する際の選択肢と主要な課題・将来の方向性を分析する。

提案手法

• 2つの主要な Safe RL カテゴリ：Safe Layer（行動の置換/射影）と CMDP を介した方策最適化の変換。
• Safe Layer の設計には、行動の置換、シールド、行動射影法（CBF、MPC、パラメータ化モデル）を含む。
• 方策最適化は、期待コストの制約をラグランジュ乗数またはリスク認識的な代替形式で扱う CMDP に拡張される。
• トレーニングおよび展開中に安全性保証を組み込む方法と、モデルベース対モデルフリーの構成要素の議論。

実験結果

リサーチクエスチョン

• RQ1 Safe RL の技術をどのように電力系統制御問題（周波数規制、電圧制御、エネルギー管理）に統合できるか。
• RQ2 Safe Layer アプローチと制約付き方策最適化の設計上の選択肢とトレードオフは、安全性の確保と訓練・運用の観点でどう異なるか。
• RQ3 電力系統における Safe RL の収束性、効率性、普遍性、および実世界展開の課題は何か。
• RQ4 Safe RL 技術がスマートグリッドの実用的応用と今後の研究方向性に対してどのような指針を提供するか。

主な発見

• 電力系統に適した Safe RL 技術の包括的な分類を提供し、安全レイヤーと制約付き方策最適化を区別する。
• 行動の置換、シールド、行動射影（CBF、MPC、パラメータ化モデル）が RL の訓練と実行中に安全性を遵守する方法を詳述する。
• CMDP の定式化とラグランジュ乗数アプローチを用いたソフトな安全性制約とリスク認識的目的の扱いを説明する。
• MPC ベースの手法はシステムモデルに依存し、不確実性に対する頑健性が欠如する可能性がある一方で、CBF は安全集合と障壁関数の慎重な設計を要することを強調する。
• 収束保証、訓練効率、シナリオ間の普遍性、実世界展開の考慮といった主要な課題を特定する。