[논문 리뷰] Improving Robustness of Reinforcement Learning for Power System Control with Adversarial Training

Alexander Pan, Yongkyun Lee외 3명|arXiv (Cornell University)|2021. 10. 18.

Smart Grid Security and Resilience참고 문헌 24인용 수 10

한 줄 요약

이 논문은 전력망 제어를 위한 최신 강화학습(RL) 에이전트가 핵심송전선로를 분리시키는 적대적 공격에 취약하며, 이로 인해 정전이 발생할 수 있음을 보여준다. 이를 해결하기 위해 학습된 적대적 에이전트를 활용한 적대적 훈련을 제안하며, 이 방식으로 훈련된 RL 에이전트는 공격 하에서도 정상 환경 성능을 높이고 정전을 피할 수 있음을 입증한다.

ABSTRACT

Due to the proliferation of renewable energy and its intrinsic intermittency and stochasticity, current power systems face severe operational challenges. Data-driven decision-making algorithms from reinforcement learning (RL) offer a solution towards efficiently operating a clean energy system. Although RL algorithms achieve promising performance compared to model-based control models, there has been limited investigation of RL robustness in safety-critical physical systems. In this work, we first show that several competition-winning, state-of-the-art RL agents proposed for power system control are vulnerable to adversarial attacks. Specifically, we use an adversary Markov Decision Process to learn an attack policy, and demonstrate the potency of our attack by successfully attacking multiple winning agents from the Learning To Run a Power Network (L2RPN) challenge, under both white-box and black-box attack settings. We then propose to use adversarial training to increase the robustness of RL agent against attacks and avoid infeasible operational decisions. To the best of our knowledge, our work is the first to highlight the fragility of grid control RL algorithms, and contribute an effective defense scheme towards improving their robustness and security.

연구 동기 및 목표

• 적대적 공격 하에서 최신 강화학습(RL) 에이전트의 내성적 안정성(robustness)을 조사하는 것.
• RL 기반의 적대적 에이전트가 핵심 송전선로를 분리시켜 전력망 운영을 성공적으로 방해할 수 있음을 보여주는 것.
• 그러한 공격에 대비한 내성적 안정성을 높이기 위한 적대적 훈련 방식을 개발하고 평가하는 것.
• 적대적 조건 하에서도 정상 환경 성능이 떨어지지 않는다는 것을 보여주는 것.
• 실제 세계의 신뢰성과 관련하여 정상 환경에서의 높은 성능만을 기준으로 삼는 데서 기인하는 한계를 부각하는 것.

제안 방법

• 핵심 송전선로를 분리시켜 전력망 운영을 방해하는 데 목적이 있는 적대적 마르코프 결정 과정(aMDP)을 수립하여, 이를 통해 공격을 학습하는 RL 에이전트를 훈련한다.
• 훈련된 적대적 에이전트를 사용하여 주요 RL 에이전트(전력망 제어자)의 훈련 중에 도전적인 공격 시나리오를 생성한다.
• 정상 환경과 공격 환경 양쪽에서 함께 최적화하여 일반화 능력을 향상시키기 위해 적대적 훈련을 적용한다.
• 주요 RL 에이전트(Kaist-agent)를 100 에포크 동안 적대적 공격 없이 훈련한 후, 강력한 적대적 에이전트를 사용해 100 에포크 동안 적대적 훈련을 계속한다.
• 실제 전력망 동역학을 시뮬레이션하기 위해 L2RPN 벤치마크 환경을 사용하여 정상 및 공격 조건 하에서의 성능을 평가한다.
• 다양한 RL 에이전트 간에 적대적 정책의 이식성(transferability)을 평가하여 공격 전략의 일반화 능력을 점검한다.

실험 결과

연구 질문

• RQ1 RL 기반의 적대적 에이전트가 핵심 송전선로를 분리시켜 전력망 제어를 효과적으로 방해할 수 있는가?
• RQ2 동일한 전력망 제어 과제를 수행하는 다양한 RL 에이전트 간에 적대적 공격 정책은 얼마나 이식 가능한가?
• RQ3 적대적 훈련은 정상 환경 성능이 떨어지지 않도록 하면서도 RL 에이전트의 내성적 안정성을 향상시키는가?
• RQ4 실제 공격 상황을 시뮬레이션하는 현실적인 적대적 공격 상황에서, 적대적으로 훈련된 에이전트는 정전을 피할 수 있는가?
• RQ5 정상 환경에서의 높은 성능와 적대적 조건 하에서의 내성적 안정성 사이에 상충 관계가 존재하는가?

주요 결과

• 적대적 RL 에이전트는 L2RPN 챌린지의 여러 승자 에이전트를 성공적으로 방해했으며, 화이트박스 및 블랙박스 설정 모두에서 높은 공격 성공률를 기록했다.
• 적대적 정책은 강한 이식성을 보였으며, 이는 공격 정책이 에이전트 특화된 취약점을 노리기보다는 '핵심 선로'라는 일반화된 개념을 학습했음을 시사한다.
• 정상 환경에서 가장 뛰어난 성능를 보였던 Kaist-agent는 실제로 Nanyang-agent보다 공격에 더 취약했으며, 이는 높은 정상 환경 성능가 내성적 안정성을 의미하지는 않는다는 점을 보여준다.
• 적대적으로 훈련된 Kaist-agent는 공격 상황에서 평가 10 에피소드 전부에서 정전을 피했고, 다른 에이전트들은 최소 한 번 이상 정전을 경험했다.
• 적대적 훈련은 정상 환경에서의 에이전트 평균 보상을 향상시켰다(정상 환경 성능: -24.1±3.6에서 -16.3±1.7로 향상)하고, 공격 상황에서 전력망 안정화 능력도 향상시켰다.
• 적대적으로 훈련된 에이전트는 핵심 선로 분리 상황에서도 안정된 운영을 유지했지만, 표준 에이전트는 빠르게 실패하여 연쇄 고장으로 이어졌다.