[논문 리뷰] Accelerated Deep Reinforcement Learning Based Load Shedding for Emergency Voltage Control

Renke Huang, Yujiao Chen외 7명|arXiv (Cornell University)|2020. 06. 22.

Power System Optimization and Stability참고 문헌 37인용 수 14

한 줄 요약

이 논문은 전력 시스템에서 부하 제거를 통한 비상 전압 제어를 위해 설계된 가속화된 딥 강화학습(Deep Reinforcement Learning, DRL) 알고리즘인 PARS를 제안한다. 파생도 없는 최적화와 Ray 프레임워크 기반 병렬 처리를 활용하여, IEEE 300-bus 시스템에서 기존의 모델 예측 제어(MPC) 및 Proximal Policy Optimization(PPO)보다 속도, 수렴성, 내구성 면에서 뛰어난 성능을 보이며, 훈련 시간을 100배 빠르게(10시간 미만 대비 40일) 구현하였다. 이와 동시에 높은 확장성과 일반화 능력을 유지한다.

ABSTRACT

Load shedding has been one of the most widely used and effective emergency control approaches against voltage instability. With increased uncertainties and rapidly changing operational conditions in power systems, existing methods have outstanding issues in terms of either speed, adaptiveness, or scalability. Deep reinforcement learning (DRL) was regarded and adopted as a promising approach for fast and adaptive grid stability control in recent years. However, existing DRL algorithms show two outstanding issues when being applied to power system control problems: 1) computational inefficiency that requires extensive training and tuning time; and 2) poor scalability making it difficult to scale to high dimensional control problems. To overcome these issues, an accelerated DRL algorithm named PARS was developed and tailored for power system voltage stability control via load shedding. PARS features high scalability and is easy to tune with only five main hyperparameters. The method was tested on both the IEEE 39-bus and IEEE 300-bus systems, and the latter is by far the largest scale for such a study. Test results show that, compared to other methods including model-predictive control (MPC) and proximal policy optimization(PPO) methods, PARS shows better computational efficiency (faster convergence), more robustness in learning, excellent scalability and generalization capability.

연구 동기 및 목표

• 기존의 딥 강화학습(DRL) 방법이 전력 시스템 비상 제어에서 계산 비효율성과 낮은 확장성 문제를 겪는 것을 해결한다.
• 실시간 전압 안정성 제어를 위해 빠르고 적응력 있으며 확장 가능한 DRL 기반의 부하 제거 전략을 개발한다.
• 대규모 전력 시스템에서 최첨단 DRL 알고리즘의 일반적인 장기 훈련 시간(수 시간에서 수 일) 문제를 해결한다.
• 제어 간격당 솔루션 시간을 1초 이내로 줄여 DRL의 실시간 전력망 운영에서의 실용적 구현을 가능하게 한다.
• 다양한 시스템 정전 사고 및 예측되지 않은 운용 조건에서도 내구성과 일반화 능력을 확보한다.

제안 방법

• 전력 시스템 전압 안정성 제어를 위해 적응시킨 Augmented Random Search(ARS) 기반의 파생도 없는 DRL 알고리즘인 PARS를 제안한다.
• Ray 프레임워크를 통합하여 최대 1,000개의 CPU 코어에서 고도로 확장 가능하고 효율적인 병렬 처리를 가능하게 한다.
• 비선형 동역학과 시간적 의존성을 포착하기 위해 피드포워드 신경망(FNN)과 장기 기억 신경망(LSTM)을 정책 모델로 사용한다.
• 주요 하이퍼파rameter를 다섯 가지로 최소화하여 튜닝 및 구현의 용이성을 향상시킨다.
• RLGC 플랫폼을 활용해 전력 시스템 시뮬레이션에서 DRL 정책의 훈련과 구현을 간소화한다.
• 신경망의 순전파를 통한 액션 추론을 적용하여 실시간 제어에 적합한 1초 미만의 추론 시간을 달성한다.

실험 결과

연구 질문

• RQ1 기존 방법과 비교해 병렬 처리가 가능한 파생도 없는 DRL 알고리즘이 대규모 전력 시스템 제어에서 훨씬 더 가속된 수렴을 달성할 수 있는가?
• RQ2 PARS의 확장성은 대규모 전력 시스템 정책 훈련 시 CPU 코어 수 증가에 따라 어떻게 변화하는가?
• RQ3 솔루션 시간, 수렴 속도, 내구성 면에서 PARS가 모델 예측 제어(MPC) 및 프록시멀 정책 최적화(PPO)를 얼마나 뛰어나게 성능을 높이는가?
• RQ4 FNN 대비 LSTM을 정책 네트워크에 사용할 경우, 예측되지 않은 시스템 정전 사고에 대한 일반화 능력이 향상되는가?
• RQ5 PARS는 비상 전압 제어 시나리오에서 제어 간격당 1초 이내의 실시간 제어 성능을 달성할 수 있는가?

주요 결과

• PARS는 IEEE 300-bus 시스템의 훈련 시간을 약 40일에서 10시간 미만으로 단축하여 100배의 가속도를 달성하였다.
• PARS는 제어 액션 당 솔루션 시간이 0.72초로, 실시간 요구 조건(제어 간격당 0.5초 이내)을 충족하였다.
• MPC와 비교해 전압 복구 성능는 유사했지만, 계산 시간은 88배 감소(0.72초 대비 63.31초)하였다.
• PARS는 수렴 속도와 내구성 면에서 병렬 PPO를 모두 뛰어넘었으며, 훈련 중 다양한 난수 시드에 대해 더 낮은 분산을 보였다.
• LSTM 기반 정책은 FNN 기반 정책에 비해 더 높은 계산 효율성과 더 나은 예측되지 않은 고장 시나리오에 대한 일반화 능력을 보였다.
• PARS는 1,000개의 CPU 코어까지 거의 선형적으로 확장되며 성능 포화 없이 높은 병렬 확장성을 보였다.