[논문 리뷰] Adaptive Power System Emergency Control using Deep Reinforcement Learning

Qiuhua Huang, Renke Huang외 4명|arXiv (Cornell University)|2019. 03. 09.

Power System Optimization and Stability참고 문헌 32인용 수 17

한 줄 요약

이 논문은 전력 시스템을 대상으로 딥 강화학습(DRL) 기반의 적응형 비상 제어를 제안하며, 종단 간 학습을 통해 갑작스러운 교란에 동적으로 대응한다. 오픈소스 RLGC 플랫폼을 도입하여 두 가지 테스트 시스템에서 동적 브레이킹 및 저전압 부하 차단에 있어 기존 방법보다 뛰어난 내성과 적응성을 입증한다. 모델 불확실성과 노이즈가 있는 관측 조건에서도 성능을 유지를 한다.

ABSTRACT

Power system emergency control is generally regarded as the last safety net for grid security and resiliency. Existing emergency control schemes are usually designed off-line based on either the conceived "worst" case scenario or a few typical operation scenarios. These schemes are facing significant adaptiveness and robustness issues as increasing uncertainties and variations occur in modern electrical grids. To address these challenges, for the first time, this paper developed novel adaptive emergency control schemes using deep reinforcement learning (DRL), by leveraging the high-dimensional feature extraction and non-linear generalization capabilities of DRL for complex power systems. Furthermore, an open-source platform named RLGC has been designed for the first time to assist the development and benchmarking of DRL algorithms for power system control. Details of the platform and DRL-based emergency control schemes for generator dynamic braking and under-voltage load shedding are presented. Extensive case studies performed in both two-area four-machine system and IEEE 39-Bus system have demonstrated the excellent performance and robustness of the proposed schemes.

연구 동기 및 목표

• 고도로 불확실성과 변동성이 높은 현대 전력 시스템에서 고정형, 오프라인 비상 제어 방식의 한계를 해결한다.
• 딥 강화학습을 활용해 시스템 상태에 따라 동적으로 반응하는 적응형 실시간 비상 제어 전략을 개발한다.
• DRL을 통한 전력 시스템 제어 연구를 가속화하기 위해 오픈소스 벤치마킹 플랫폼(RLGC)을 구축한다.
• DRL 기반 전략이 새로운 시나리오, 모델 파rameter 불확실성, 관측 노이즈에 대해 얼마나 내성적인지를 입증한다.
• Q-학습, 모델 예측 제어(MPC), 리레이나 기반 제어와 같은 기존 방법보다 적응성과 성능 면에서 향상된 성능을 확보한다.

제안 방법

• 일시적 안정성과 전압 복구를 고려해 상태, 조작, 보상 함수를 설계한 마르코프 결정 과정(MDP)으로 전력 시스템 비상 제어를 수립한다.
• 고차원 시스템 상태로부터 종단 간 학습을 위해 딥 Q-네트워크(DQN) 및 프록시멀 정책 최적화(PPO) 알고리즘을 활용한다.
• 표준 기준 이상의 전압 복구를 우선시하면서 부하 차단 최소화를 목표로 하는 맞춤형 보상 함수를 설계한다.
• 이중 영역, 사기동기 시스템과 IEEE 39-bus 시스템을 사용해 시뮬레이션 환경에서 DRL 에이전트를 훈련시킨다.
• 운영 한계 위반을 방지하기 위해 보상 함수에 안전 제약을 페널티 항목으로 통합한다.
• DRL 알고리즘의 훈련, 테스트, 벤치마킹을 지원하기 위해 오픈소스 RLGC 플랫폼을 개발한다.

실험 결과

연구 질문

• RQ1 DRL 기반 비상 제어는 훈련 중에 볼 수 없었던 시스템 장애 및 운영 조건에 효과적으로 적응할 수 있는가?
• RQ2 전압 복구 및 부하 차단 성능 측면에서 DRL 기반 제어는 기존 방법(예: UVLS 리레이나, MPC)과 비교해 어떻게 다를까?
• RQ3 모델 파rameter 불확실성과 노이즈가 있는 상태 관측에 대해 DRL 정책은 어느 정도 내성적인가?
• RQ4 재훈련 없이도 DRL 에이전트가 다양한 장애 시나리오에 일반화할 수 있는가?
• RQ5 RLGC 플랫폼은 전력 시스템 제어 분야에서 DRL 알고리즘의 재현 가능하고 비교 가능한 벤치마킹을 어떻게 가능하게 하는가?

주요 결과

• DRL 기반 비상 제어 방식은 평균 0.13초의 더 빠른 반응 시간을 기록하여 실시간 적용이 가능했다.
• IEEE 39-bus 시스템에서 DRL 방법은 10%의 파라미터 불확실성과 관측 노이즈 조건에서도 안정적인 전압 복구를 유지하며 뛰어난 내성성을 입증했다.
• DRL 제어 하에서 전압 복구 프로파일은 요구 기준을 충족하거나 초과했으며, MPC 및 UVLS 리레이나 방법보다 훨씬 적은 부하를 차단했다.
• 훈련 중에 볼 수 없었던 새로운 장애 시나리오에 대해서도 DRL 정책이 잘 일반화되어 강력한 일반화 능력을 보였다.
• RLGC 플랫폼은 DRL 에이전트의 일관된 훈련과 벤치마킹을 성공적으로 지원하여 재현 가능성 향상과 향후 연구 가속화에 기여했다.
• 기존 Q-학습 대비 DRL 접근법은 고차원 특징 자동 추출 및 비선형 일반화 능력 덕분에 훨씬 뛰어난 성능을 보였다.