[논문 리뷰] Learning and Fast Adaptation for Grid Emergency Control via Deep Meta Reinforcement Learning

Renke Huang, Yujiao Chen외 7명|arXiv (Cornell University)|2021. 01. 13.

Power System Optimization and Stability인용 수 5

한 줄 요약

이 논문은 새로운 운영 조건과 시스템 파arameter에 대해 빠른 적응을 가능하게 하는 딥 메타강화학습(DMRL) 프레임워크를 제안한다. 메타전략 최적화(MSO)와 병렬 증강 랜덤 서치(PARS) 알고리즘을 통합함으로써, 정책이 15분 이내로 적응할 수 있는 잠재적 맥락 공간을 학습한다. 이는 표준 DRL을 능가하고 MPC 성능과 유사하게 유지하면서도 실시간 제어 결정을 가능하게 한다.

ABSTRACT

As power systems are undergoing a significant transformation with more uncertainties, less inertia and closer to operation limits, there is increasing risk of large outages. Thus, there is an imperative need to enhance grid emergency control to maintain system reliability and security. Towards this end, great progress has been made in developing deep reinforcement learning (DRL) based grid control solutions in recent years. However, existing DRL-based solutions have two main limitations: 1) they cannot handle well with a wide range of grid operation conditions, system parameters, and contingencies; 2) they generally lack the ability to fast adapt to new grid operation conditions, system parameters, and contingencies, limiting their applicability for real-world applications. In this paper, we mitigate these limitations by developing a novel deep meta reinforcement learning (DMRL) algorithm. The DMRL combines the meta strategy optimization together with DRL, and trains policies modulated by a latent space that can quickly adapt to new scenarios. We test the developed DMRL algorithm on the IEEE 300-bus system. We demonstrate fast adaptation of the meta-trained DRL polices with latent variables to new operating conditions and scenarios using the proposed method and achieve superior performance compared to the state-of-the-art DRL and model predictive control (MPC) methods.

연구 동기 및 목표

• 변화하는 전력망 조건 하에서 긴급 제어를 위한 딥강화학습(DRL) 에이전트의 빠른 적응 부족 문제를 해결한다.
• 기존 DRL 방법이 크게 다른 운영 조건이나 시스템 파arameter에 대해 일반화하지 못하는 한계를 극복한다.
• 메타학습과 확장 가능한 DRL 학습을 융합하여 전압 안정성과 부하 제거를 위한 실시간, 신뢰할 수 있는 긴급 제어를 가능하게 한다.
• 메타학습된 정책이 재학습 없이도 새로운 고장 사례, 시스템 파aram터, 부하 흐름 조건에 신속히 적응할 수 있음을 입증한다.
• 모델 예측 제어(MPC) 수준의 성능를 달성하면서도 계산 지연을 줄여 실시간 운영 요구사항을 충족시킨다.

제안 방법

• 다양한 전력망 시나리오에 걸쳐 일반화 가능한 메타정책을 학습하기 위해 메타전략 최적화(MSO)와 병렬 증강 랜덤 서치(PARS) 알고리즘을 통합한다.
• 제어 정책을 조건화하기 위해 잠재 공간 표현을 사용하여, 메타학습 중에 학습된 맥락 벡터를 통해 새로운 환경에 대한 신속한 적응을 가능하게 한다.
• 메타학습 기간 동안 실제 세계의 불확실성을 반영하기 위해 운영 조건, 시스템 파aram터, 고장 사례의 분포를 사용해 에이전트를 훈련시킨다.
• 학습을 메타최적화 및 적응 단계로 분리한다: 다양한 시나리오에서의 메타학습 후, 몇 차례의 환경 관측만으로도 신속한 적응을 수행한다.
• MPC의 높은 계산 비용과 대비해 신경망 추론의 계산 효율성을 활용해 실시간 행동 선택을 구현한다.
• 부하 제거를 통해 고장으로 인한 지연된 전압 복구(FIDVR) 이벤트에 대비한 교정 제어를 위해 IEEE 300-bus 시스템에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 재학습 없이도 새로운, 알려지지 않은 전력망 운영 조건과 시스템 파aram터에 대해 빠르게 적응할 수 있도록 딥강화학습 에이전트를 훈련시킬 수 있는가?
• RQ2 메타학습된 DRL 정책의 성능는 표준 DRL 및 모델 예측 제어(MPC)에 비해 전압 복구 및 부하 제거 효율성 측면에서 어떻게 비교되는가?
• RQ3 제안된 DMRL 프레임워크는 적응 시간을 얼마나 줄일 수 있으며, 제어 효과성은 유지 또는 향상되는가?
• RQ4 잠재 맥락 공간은 표준 DRL에 비해 다양한 고장 사례와 시스템 파aram터에 대한 일반화 능력을 향상시키는가?
• RQ5 MPC가 너무 느려 실시간으로 작동하기 어려운 긴급 상황에서 DMRL 프레임워크는 실시간 제어 결정을 내릴 수 있는가?

주요 결과

• DMRL 방법은 새로운 전력망 조건에 대해 15분 이내로 빠른 적응을 달성하여, 재학습에서부터 시작하는 것에 비해 적응 시간을 크게 단축시켰다.
• 테스트 시나리오의 94.69%에서 DMRL이 표준 PARS DRL 방법을 능가했으며, 다양한 운영 조건에서 보상 차이가 DMRL에 유리하게 나타났다.
• PARS가 실패한 88개 시나리오에서 DMRL은 전압 안정성을 성공적으로 복구했으며, 특히 영향력이 큰 새로운 고장 조건에서 뛰어난 성능를 보였다.
• 3상 고장 이벤트에서 DMRL 기반 컨트롤러는 총 보상 -2715를 기록했으며, PARS(-25833)를 능가하고 MPC(-2742)와 동등한 성능를 달성했다.
• 테스트 기간 동안 DMRL은 추론에 1초 미만이 소요되었고, MPC는 63.31초가 소요되어 실시간 실행 가능성은 입증했다.
• PARS 대비 부하 제거량을 10% 감소시켰고, MPC의 최적 제거 수준을 유지함으로써 더 높은 제어 효율성을 확보했다.