[논문 리뷰] Two-Timescale Voltage Control in Distribution Grids Using Deep Reinforcement Learning

Qiuling Yang, Gang Wang외 3명|arXiv (Cornell University)|2019. 04. 19.

Optimal Power Flow Distribution참고 문헌 27인용 수 37

한 줄 요약

이 논문은 분배망의 전압을 조절하기 위해 축전기(느린 타임스케일, 깊은 강화학습 DRL)과 스마트 인버터(빠른 타임스케일, 볼록 최적화) 를 함께 제어하는 이중 타임스케일 스키마를 제시하여 47-버스 네트워크와 IEEE 123-버스 피더에서 검증한 내용이다.

ABSTRACT

Modern distribution grids are currently being challenged by frequent and sizable voltage fluctuations, due mainly to the increasing deployment of electric vehicles and renewable generators. Existing approaches to maintaining bus voltage magnitudes within the desired region can cope with either traditional utility-owned devices (e.g., shunt capacitors), or contemporary smart inverters that come with distributed generation units (e.g., photovoltaic plants). The discrete on-off commitment of capacitor units is often configured on an hourly or daily basis, yet smart inverters can be controlled within milliseconds, thus challenging joint control of these two types of assets. In this context, a novel two-timescale voltage regulation scheme is developed for distribution grids by judiciously coupling data-driven with physicsbased optimization. On a faster timescale, say every second, the optimal setpoints of smart inverters are obtained by minimizing instantaneous bus voltage deviations from their nominal values, based on either the exact alternating current power flow model or a linear approximant of it; whereas, on the slower timescale (e.g., every hour), shunt capacitors are configured to minimize the longterm discounted voltage deviations using a deep reinforcement learning algorithm. Extensive numerical tests on a real-world 47- bus distribution network as well as the IEEE 123-bus test feeder using real data corroborate the effectiveness of the novel scheme.

연구 동기 및 목표

• 재생에너지와 전기차 보급이 높은 분배망에서 발생하는 전압 변동의 동기 부여 및 해결.
• 두 가지 타임스케일에 걸쳐 축전기와 인버터를 함께 제어하는 데이터 기반과 물리 기반의 하이브리드 프레임워크를 제안.
• 느린 타임스케일의 축전기 구성은 깊은 강화학습을 통해 학습한다.
• 정확한 AC 모델 또는 선형화된 전력흐름 모델을 사용하여 빠른 타임스케일의 인버터 설정값을 계산한다.
• 실세계 및 표준 테스트 피더에 대한 광범위한 시뮬레이션을 통해 효과를 입증한다.

제안 방법

• 두 타임스케일 최적화를 공식화한다: 느린 타임스케일의 축전기 온/오프 결정은 DRL로 학습되고, 빠른 타임스케일의 인버터 무효전력 설정값은 볼록 최적화로 계산된다.
• 인버터 설정값을 얻기 위해 SOCP 이완이 있는 정확한 AC 모델 또는 선형화된 분포 흐름 모델을 사용한다.
• 축전기 결정은 마르코프 결정 과정으로 모델링하고, 타깃 네트워크와 경험 재생으로 강화된 딥 큐-네트워크(DQN) 접근법으로 해결한다.
• 각 타임슬롯에서 가능한 무효전력 지원을 보장하기 위해 인버터 제약 및 축전기 구성을 표현한다.
• 다수의 축전기로부터 생기는 큰 행동 공간을 다루기 위해 하이퍼 딥 Q-network를 도입한다.

실험 결과

연구 질문

• RQ1 완전한 분배망 지식 없이도 확률적 부하와 발전 하에서 이중 타임스케일 제어 프레임워크가 버스 전압을 효율적이고 효과적으로 조절할 수 있는가?
• RQ2 축전기 온/오프 결정에 대한 느린 타임스케일 DRL이 빠른 타임스케일 인버터 최적화와 시너지 효과를 내어 장기 전압 편차를 최소화하는가?
• RQ3 제안된 스킴 내에서 빠른 인버터 설정값 최적화를 가능하게 하는 정확한 AC 기반 모델과 선형화된 전력흐름 모델은 어떻게 비교되는가?
• RQ4 타깃 네트워크와 경험 재생 같은 수정이 이 전력 시스템 맥락에서 DRL의 안정화를 가져올 수 있는가?

주요 결과

• 이중 타임스케일 스킴은 축전기와 인버터를 함께 관리하여 분배망의 전압 편차를 줄일 수 있다.
• 현재 축전기 구성을 고려하여 빠른 타임스케일의 인버터 설정값은 정확한 AC 기반 SOCP 또는 선형화된 이차 계획법에 의해 계산될 수 있다.
• 확률적 발전과 부하를 고려한 DRL(딥 Q-네트워크를 포함하는 DRL) 접근법으로 느린 타임스케일의 축전기 결정이 학습된다.
• 학습의 안정화와 수렴 개선을 위해 타깃 네트워크와 경험 재생을 활용한다.
• 실세계의 47-bus 분배 네트워크와 IEEE 123-bus 테스트 피더에 대해 실제 데이터로 광범위한 수치 실험을 통해 검증되었다.
• 축전기 작동 공간의 차원의 저주를 하이퍼 딥 Q-network를 통해 해결한다.