[논문 리뷰] Model-Free Voltage Regulation of Unbalanced Distribution Network Based on Surrogate Model and Deep Reinforcement Learning

Di Cao, Junbo Zhao외 5명|arXiv (Cornell University)|2020. 06. 24.

Optimal Power Flow Distribution참고 문헌 23인용 수 6

한 줄 요약

이 논문은 역사적 데이터와 딥 강화학습(DRL)을 기반으로 훈련된 서rogate 모델을 사용하여 비균형 3단계 배전망에 대한 모델 기반 전압 조절 방법을 제안한다. 물리적 모델의 정확도가 떨어지는 문제를 해결하기 위해 전력 주입과 전압 변동 간의 관계를 매핑하는 데이터 기반 서rogate 모델로 물리적 모델을 대체함으로써, DRL이 서rogate 모델과의 상호작용을 통해 최적의 제어 정책을 학습할 수 있도록 하여, 시스템의 구조나 파라미터 지식 없이도 IEEE 123-bus 시스템에서 모델 기반 방법과 유사한 성능을 달성한다.

ABSTRACT

Accurate knowledge of the distribution system topology and parameters is required to achieve good voltage controls, but this is difficult to obtain in practice. This paper develops a model-free approach based on the surrogate model and deep reinforcement learning (DRL). We have also extended it to deal with unbalanced three-phase scenarios. The key idea is to learn a surrogate model to capture the relationship between the power injections and voltage fluctuation of each node from historical data instead of using the original inaccurate model affected by errors and uncertainties. This allows us to integrate the DRL with the learned surrogate model. In particular, DRL is applied to learn the optimal control strategy from the experiences obtained by continuous interactions with the surrogate model. The integrated framework contains training three networks, i.e., surrogate model, actor, and critic networks, which fully leverage the strong nonlinear fitting ability of deep learning and DRL for online decision making. Several single-phase approaches have also been extended to deal with three-phase unbalance scenarios and the simulation results on the IEEE 123-bus system show that our proposed method can achieve similar performance as those that use accurate physical models.

연구 동기 및 목표

• 전압 조절에서 정확하지 않거나 알려지지 않은 배전 시스템의 구조 및 파라미터 문제를 해결하기 위해.
• 정확한 물리적 모델에 의존하지 않는 모델 기반 제어 프레임워크를 개발하기 위해.
• 단일상 DRL 기반 전압 조절을 3단계 비균형 시스템으로 확장하기 위해.
• 역사적 데이터를 활용하여 전력 주입-전압 관계를 포괄하는 서rogate 모델을 훈련하기 위해.
• 서rogate, 액터, 크리틱 네트워크의 엔드 투 엔드 훈련을 통해 온라인 의사결정을 가능하게 하기 위해.

제안 방법

• 전력 주입 및 전압 데이터의 역사를 바탕으로 서rogate 모델을 훈련하여 주입과 전압 편차 간의 비선형 관계를 근사한다.
• 서rogate 모델이 물리적 피드플로우 모델을 대체함으로써 DRL이 시스템의 데이터 기반 표현과 상호작용할 수 있도록 한다.
• 액터 네트워크를 통한 정책 학습과 크리틱 네트워크를 통한 가치 추정을 수행하는 딥 강화학습 프레임워크를 적용한다.
• 경험 재생 및 타겟 네트워크를 활용하여 안정성을 확보하면서 서rogate 모델과의 지속적 상호작용을 통해 DRL 에이전트가 최적의 제어 조치를 학습한다.
• 서rogate 모델, 액터, 크리틱을 포함한 세 개의 딥 신경망을 엔드 투 엔드로 훈련하여 온라인 제어 의사결정을 지원하는 프레임워크를 통합한다.
• 다양한 부하 조건 하에서 IEEE 123-bus 3단계 비균형 배전 시스템에서 프레임워크를 검증한다.

실험 결과

연구 질문

• RQ1 역사적 데이터 기반의 서rogate 모델이 비균형 배전망의 전압 조절에서 정확한 물리적 모델이 필요로 하는 문제를 효과적으로 대체할 수 있는가?
• RQ2 시스템의 서rogate 모델에만 기반하여 훈련된 딥 강화학습이 최적의 제어 정책을 얼마나 잘 학습할 수 있는가?
• RQ3 제안된 모델 기반 접근법이 비균형 3단계 시스템에서 모델 기반 방법의 성능을 어느 정도 충족하는가?
• RQ4 시스템 파라미터의 명시적 지식 없이도 이 프레임워크가 3단계 비균형의 복잡성을 다룰 수 있는가?
• RQ5 서rogate 모델 내부의 불확실성 요소가 존재하는 상황에서 DRL 정책의 강인성과 수렴 행동은 어떠한가?

주요 결과

• 제안된 모델 기반 접근법은 시스템의 구조나 파라미터 지식 없이도 IEEE 123-bus 시스템에서 모델 기반 방법과 유사한 전압 조절 성능을 달성한다.
• 서rogate 모델은 역사적 데이터로부터 비선형 전압-주입 관계를 효과적으로 포착하여 DRL 훈련을 위한 정확한 시스템 표현을 가능하게 한다.
• DRL 에이전트는 서rogate 모델과의 상호작용을 통해 안정적이고 효과적인 제어 정책을 성공적으로 학습하였으며, 다양한 운영 조건에서 강인성을 입증하였다.
• 프레임워크는 단일상 DRL 전압 제어를 3단계 비균형 네트워크로 확장하면서 균형 가정 없이도 높은 성능를 유지한다.
• 서rogate 모델링과 DRL의 통합은 정확한 시스템 모델이나 실시간 측정 자료에 의존하지 않는 온라인, 적응형 전압 제어를 가능하게 한다.
• 시뮬레이션 결과는 이 방법이 비균형 부하 및 네트워크의 불확실성 하에서도 전압을 허용 가능한 범위 내에 유지함을 확인한다.