[論文レビュー] Understanding the Safety Requirements for Learning-based Power Systems Operations

Yize Chen, Daniel Arnold+2 more|arXiv (Cornell University)|Oct 11, 2021

Smart Grid Security and Resilience参考文献 26被引用数 4

ひとこと要約

本稿は、実世界の電力系統データに基づいて学習された強化学習（RL）エージェントが、最小限の敵対的摂動（≤5%）によって測定値に与える影響によって、制御性能が著しく低下し、運用制約を逸脱する可能性があることを示すことで、RLに基づく電力系統運用の安全性と頑健性を調査している。電圧制御および系統接続制御タスクに対するブラックボックス攻撃を通じて、著者らは、実世界の電力系統データに基づいて訓練されたRLエージェントが、小さな入力摂動に対して脆弱であることを示し、不安全な潮流と不安定性を引き起こす。これは、データ駆動型グリッド制御設計にセキュリティと安全性を統合する必要性が急務であることを示している。

ABSTRACT

Recent advancements in machine learning and reinforcement learning have brought increased attention to their applicability in a range of decision-making tasks in the operations of power systems, such as short-term emergency control, Volt/VAr control, long-term residential demand response and battery energy management. Despite the promises of providing strong representation of complex system dynamics and fast, efficient learned operation strategies, the safety requirements of such learning paradigms are less discussed. This paper explores the design requirements on both data and model side of such learning algorithms by exploiting the impacts of adversarial attacks on safety critical system operations. Case studies performed on both voltage regulation and topology control tasks demonstrated the potential vulnerabilities of the standard reinforcement learning algorithms, and possible measures of machine learning robustness and security are discussed for power systems operation tasks.

研究の動機と目的

• 敵対的入力摂動の下での学習ベースの電力系統運用の安全性と頑健性を調査すること。
• 電圧制御および系統接続制御などの実世界の電力系統タスクにおける強化学習エージェントの脆弱性を評価すること。
• モデルベースの安全保証が存在しないデータ駆動型制御システムにおける重要なセキュリティギャップを同定すること。
• 最小限の攻撃者知識を前提としたブラックボックス攻撃戦略を用いて、電力系統運用における敵対的頑健性を評価するフレームワークを提案すること。
• 機械学習制御器の設計にセキュリティと安全性の目的を統合するよう提言すること。

提案手法

• RLエージェントを欺くために、システム状態観測値（例：負荷および発電プロファイル）に最小限の摂動（≤5%）を加えるブラックボックス敵対的攻撃戦略の設計。
• 状態推定および通信ネットワークインターフェースを用いて、モデルへのアクセスを必要とせずにリアルタイム測定値に敵対的ノイズを注入すること。
• 摂動の影響が電圧制御および系統接続制御タスクにおける行動出力およびその後の潮流プロファイルに与える影響の評価。
• クエリベース最適化を用いて、低計算コスト（1ステップあたり平均0.5秒）で敵対的例を生成すること。
• L2RPNおよびIEEE 39バス系などの公開テストベッドを活用し、リアルなグリッドダイナミクスをシミュレートし、攻撃の有効性を検証すること。
• GitHubにシミュレーションテストベッドおよび攻撃例を公開し、電力系統における機械学習セキュリティ分野の再現可能性研究を支援すること。

実験結果

リサーチクエスチョン

• RQ1 電力系統運用における強化学習ベースの制御器は、入力測定値に小さな敵対的摂動が加えられた場合にどれほど脆弱であるか？
• RQ2 電圧制御および系統接続制御タスクにおけるRLエージェントに対する敵対的攻撃の物理的影響は何か？
• RQ3 モデルへのアクセスなしに最小限の知識（＝ブラックボックス）を持つ攻撃者が、訓練済みのRLエージェントを不安定化させ、制約違反を引き起こすことができるか？
• RQ4 敵対的摂動は、実際の電力系統データに基づいて訓練されたRLエージェントの意思決定プロセスおよび行動選択にどのように影響を与えるか？
• RQ5 このような攻撃に対して頑健性を高めるために、データ駆動型電力系統制御器に必要な設計原則および保護策は何か？

主な発見

• 負荷および発電プロファイルに5%の敵対的摂動を加えるだけで、訓練済みのRLエージェントが無効な最適値から著しく逸脱した無効力注入意思決定を示した。
• IEEE 39バス系の電圧制御タスクにおいて、敵対的攻撃により、モデルベース手法と比較して安全運用範囲の3倍以上を超える潮流違反が発生した。
• L2RPNテストケースでは、上位行動集合のQ値が類似しているため、RLエージェントが状態偽装に対して特に感受性が高く、攻撃成功確率が高まった。
• ブラックボックス攻撃は、1ステップあたり平均0.5秒未満の攻撃ベクトル計算時間で、RLエージェントの行動を効果的に操作できた。
• 本研究では、攻撃者に最小限の知識しか与えられていない状況でも、敵対的入力がリアルタイムの電力系統運用において段階的不安定化および制約違反を引き起こす可能性があることを示した。
• 研究結果は、現在のRLベースの制御器が本質的な安全保証を欠いており、データレベルの改ざんに対して脆弱であることを強調しており、AI駆動のグリッド運用においてセキュリティを設計段階から組み込む必要があることを示している。