[논문 리뷰] Autonomous Voltage Control for Grid Operation Using Deep Reinforcement Learning

Ruisheng Diao, Zhiwei Wang외 4명|arXiv (Cornell University)|2019. 04. 24.

Smart Grid Security and Resilience참고 문헌 9인용 수 16

한 줄 요약

이 논문은 심층 강화학습(DRL)을 사용하여 전력망에 대한 자율 전압 제어 프레임워크인 Grid Mind을 제안한다. DRL 에이전트는 IEEE 14-bus 시스템에서 광범위한 오프라인 시뮬레이션을 통해 최적의 제어 정책을 학습하며, 부하 및 발전 변화와 네트워크 구조 변화에 적응하고, 수만 개의 시나리오에 걸쳐 높은 성능으로 안정적이고 실시간 전압 조절을 달성한다.

ABSTRACT

Modern power grids are experiencing grand challenges caused by the stochastic and dynamic nature of growing renewable energy and demand response. Traditional theoretical assumptions and operational rules may be violated, which are difficult to be adapted by existing control systems due to the lack of computational power and accurate grid models for use in real time, leading to growing concerns in the secure and economic operation of the power grid. Existing operational control actions are typically determined offline, which are less optimized. This paper presents a novel paradigm, Grid Mind, for autonomous grid operational controls using deep reinforcement learning. The proposed AI agent for voltage control can learn its control policy through interactions with massive offline simulations, and adapts its behavior to new changes including not only load/generation variations but also topological changes. A properly trained agent is tested on the IEEE 14-bus system with tens of thousands of scenarios, and promising performance is demonstrated in applying autonomous voltage controls for secure grid operation.

연구 동기 및 목표

• 증가하는 확률적 재생 가능 에너지와 수요 반응으로 인해 현대 전력망의 안정적이고 경제적인 운영에 대한 도전이 커지고 있다.
• 정적이고 오프라인 규칙에 의존하며 실시간 전력망 동적 특성에 대한 적응성이 떨어지는 전통적 제어 시스템의 한계를 극복한다.
• 실시간 전력망 모델 업데이트가 필요 없이 최적의 전압 제어 정책을 학습할 수 있는 자율적이고 적응형 제어 프레임워크를 개발한다.
• 부하 및 발전 변동과 네트워크 구조 변화를 포함한 다양한 운영 조건에서도 견고한 성능을 확보한다.
• 심층 강화학습이 복잡한 전력 시스템에서 실시간 전력망 운영 제어에 적용 가능한지의 타당성과 효과성을 입증한다.

제안 방법

• IEEE 14-bus 시스템의 막대한 오프라인 시뮬레이션을 기반으로 한 딥 Q네트워크(DQN)-기반 강화학습 에이전트를 설계한다.
• 버스 전압 크기, 유효/무효 전력 주입량 및 네트워크 구조 정보를 사용하여 상태 공간을 정의한다.
• 핵심 버스에서의 터미널 조절기 및 샤프트 커패시터 제어 결정을 행동 공간으로 설정한다.
• 전압 위반에 대한 보상 함수를 제재하고, 안정적이고 안정적인 운영을 장려하면서 제어 노력 최소화를 유도한다.
• 학습 안정성 향상과 수렴성 향상을 위해 경험 재생과 타겟 네트워크를 사용하여 에이전트를 훈련시킨다.
• 훈련된 정책을 실시간 시뮬레이션 환경으로 이식하여 다양한 미리 보지 못한 시나리오에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 심층 강화학습 에이전트는 실시간 시스템 모델에 의존하지 않고 효과적인 전압 제어 정책을 학습할 수 있는가?
• RQ2 DRL 기반 에이전트는 전력 시스템에서 예측할 수 없는 부하 및 발전 변동에 대해 얼마나 잘 일반화되는가?
• RQ3 선로 정지나 네트워크 재구성과 같은 네트워크 구조 변화에 에이전트가 얼마나 잘 적응하는가?
• RQ4 수만 개의 운영 시나리오에 걸쳐 자율 에이전트가 전압 안정성을 유지하는 데 얼마나 뛰어난 성능을 보이는가?
• RQ5 유연성과 적응성 측면에서 기존의 오프라인 제어 전략과 비교해 본다면, 제안된 방법은 어떠한가?

주요 결과

• 훈련된 DRL 에이전트는 수만 개의 시뮬레이션 시나리오 전역에서 전압 프로파일을 허용 가능한 한계 내에 유지하는 데 성공했다.
• 에이전트는 부하 및 발전 변동에 대해 강력한 일반화 능력을 보였으며, 안정적인 운영을 유지했다.
• 재훈련이 필요 없이 선로 정지와 같은 네트워크 구조 변화에도 효과적으로 적응했다.
• 극한의 운영 조건에서도 전압 위반 수가 극히 적었고, 높은 제어 정밀도와 안정성을 달성했다.
• 동적인 변화가 많고 불확실성이 높은 전력망 환경에서 기존의 오프라인 제어 방법보다 우수한 성능을 보였다.
• 결과적으로, 현대 전력망에서 심층 강화학습을 사용한 자율적이고 실시간 전압 제어의 타당성이 확인되었다.