[論文レビュー] Improving Robustness of Reinforcement Learning for Power System Control with Adversarial Training

Alexander Pan, Yongkyun Lee+3 more|arXiv (Cornell University)|Oct 18, 2021

Smart Grid Security and Resilience参考文献 24被引用数 10

ひとこと要約

この論文は、電力系統制御の最先端強化学習（RL）エージェントが、重要な送電線を遮断する悪意ある攻撃に対して脆弱であることを示している。攻撃を学習した敵対的エージェントを用いた敵対的訓練により耐性を向上させる手法を提案し、この方法で訓練されたRLエージェントは、攻撃下でもブラックアウトを回避する一方で、クリーンな環境下でも高い性能を示すことを示している。

ABSTRACT

Due to the proliferation of renewable energy and its intrinsic intermittency and stochasticity, current power systems face severe operational challenges. Data-driven decision-making algorithms from reinforcement learning (RL) offer a solution towards efficiently operating a clean energy system. Although RL algorithms achieve promising performance compared to model-based control models, there has been limited investigation of RL robustness in safety-critical physical systems. In this work, we first show that several competition-winning, state-of-the-art RL agents proposed for power system control are vulnerable to adversarial attacks. Specifically, we use an adversary Markov Decision Process to learn an attack policy, and demonstrate the potency of our attack by successfully attacking multiple winning agents from the Learning To Run a Power Network (L2RPN) challenge, under both white-box and black-box attack settings. We then propose to use adversarial training to increase the robustness of RL agent against attacks and avoid infeasible operational decisions. To the best of our knowledge, our work is the first to highlight the fragility of grid control RL algorithms, and contribute an effective defense scheme towards improving their robustness and security.

研究の動機と目的

• 攻撃下における電力系統制御の最先端RLエージェントの耐性を調査すること。
• RLベースの敵対的エージェントが、重要な送電線を遮断することで電力系統の運用を効果的に混乱させられることを実証すること。
• このような攻撃に対して耐性を高めるための敵対的訓練防御戦略を開発・評価すること。
• 攻撃下での耐性が、クリーン環境下での性能に悪影響を及げないことを示すこと。
• 現実世界の信頼性を示す指標として、クリーン環境下での高パフォーマンスを単独で用いることの限界を強調すること。

提案手法

• 送電線の遮断によって電力系統の運用を混乱させる能力を学習するRLエージェントを訓練するため、敵対的マルコフ決定過程（aMDP）を定式化する。
• 訓練された敵対的エージェントを、主なRLエージェント（電力系統制御者）の訓練中に、挑戦的な攻撃シナリオを生成するために使用する。
• クリーン環境と攻撃下の両方で同時に最適化することで、一般化性能を向上させる敵対的訓練を実施する。
• 主なRLエージェント（Kaist-agent）を100エポック間、敵対的要因なしで訓練した後、強力な敵対的エージェントを用いて100エポックにわたり敵対的訓練を継続する。
• L2RPNベンチマーク環境を用いて、現実的な電力系統のダイナミクスをシミュレートし、クリーン環境および攻撃下でのパフォーマンスを評価する。
• 異なるRLエージェント間での敵対的ポリシーの転送性を評価することで、攻撃戦略の一般化能力を検証する。

実験結果

リサーチクエスチョン

• RQ1 RLベースの敵対的エージェントは、重要な送電線を遮断することで、電力系統制御を効果的に混乱させることができるか？
• RQ2 同じ電力系統タスクで訓練された異なるRLエージェント間で、敵対的攻撃ポリシーはどの程度転送可能か？
• RQ3 敵対的訓練により、クリーン環境下でのパフォーマンスが低下することなく、RLエージェントの耐性が向上するか？
• RQ4 現実的な攻撃シナリオ（現実の線路故障を模倣）下でも、敵対的訓練を受けたエージェントはブラックアウトを回避できるか？
• RQ5 クリーン環境下での高パフォーマンスと、攻撃下での耐性の間にトレードオフがあるか？

主な発見

• 敵対的RLエージェントは、L2RPNチャレンジの複数の優勝エージェントを、ホワイトボックスおよびブラックボックスの両設定で効果的に混乱させ、高い攻撃成功確率を達成した。
• 敵対的ポリシーは強い転送性を示し、エージェント固有の弱みを狙うのではなく、『重要な線路』の一般化された概念を学習していることが示された。
• クリーン環境下で最も優れたパフォーマンスを示したKaist-agentは、実際にはNanyang-agentよりも攻撃に対してより脆く、高いクリーン環境下パフォーマンスが耐性を意味するわけではないことを示した。
• 攻撃下の10評価エピソードすべてにおいて、敵対的訓練を受けたKaistエージェントはブラックアウトを回避したが、他のエージェントは少なくとも1回のブラックアウトを経験した。
• 敵対的訓練により、クリーン環境下でのエージェントの平均報酬が向上した（-24.1±3.6 から -16.3±1.7 に）。また、攻撃下での電力系統の安定化能力も向上した。
• 敵対的訓練を受けたエージェントは、重要な送電線の遮断後も安定した運用を維持したが、標準的なエージェントは急速に失敗し、連鎖的故障に陥った。