[논문 리뷰] Distributed Voltage Regulation of Active Distribution System Based on Enhanced Multi-agent Deep Reinforcement Learning

Di Cao, Junbo Zhao외 4명|arXiv (Cornell University)|2020. 05. 31.

Optimal Power Flow Distribution참고 문헌 25인용 수 8

한 줄 요약

이 논문은 스펙트럼 클러스터링과 향상된 다중에이전트 강화학습(MADRL) 알고리즘을 활용한 데이터 기반 분산 전압 제어 방법을 제안한다. 전압 및 무공전력 민감도를 바탕으로 시스템을 하위 네트워크로 분해함으로써, 각 하위 네트워크는 중심 집합 학습과 분산 실행을 통해 협동 전략을 학습하는 적응형 에이전트에 의해 제어되며, 통신 및 파rameter 의존도를 크게 감소시키면서도 불확실성 하에서의 강건성을 유지한다.

ABSTRACT

This paper proposes a data-driven distributed voltage control approach based on the spectrum clustering and the enhanced multi-agent deep reinforcement learning (MADRL) algorithm. Via the unsupervised clustering, the whole distribution system can be decomposed into several sub-networks according to the voltage and reactive power sensitivity. Then, the distributed control problem of each sub-network is modeled as Markov games and solved by the enhanced MADRL algorithm, where each sub-network is modeled as an adaptive agent. Deep neural networks are used in each agent to approximate the policy function and the action value function. All agents are centrally trained to learn the optimal coordinated voltage regulation strategy while executed in a distributed manner to make decisions based on only local information. The proposed method can significantly reduce the requirements of communications and knowledge of system parameters. It also effectively deals with uncertainties and can provide online coordinated control based on the latest local information. Comparison results with other existing model-based and data-driven methods on IEEE 33-bus and 123-bus systems demonstrate the effectiveness and benefits of the proposed approach.

연구 동기 및 목표

• 분산 에너지 자원의 고비율 통합으로 인해 중앙집중식 전압 제어의 도전 과제를 해결하기 위해.
• 전체 시스템 파ameter 지식과 광범위한 에이전트 간 통신에 대한 의존도를 감소시키기 위해.
• 현장 측정치와 실시간 데이터만을 사용하여 온라인으로 협동 전압 제어를 가능하게 하기 위해.
• 하중 및 발전 패턴의 불확실성에 대한 강건성을 향상시키기 위해.
• 시스템 안정성과 전압 품질을 유지하면서도 확장 가능한 분산 제어 프레임워크를 개발하기 위해.

제안 방법

• 전압 및 무공전력 민감도 행렬을 기반으로 스펙트럼 클러스터링을 활용해 시스템을 하위 네트워크로 분할한다.
• 각 하위 네트워크는 마르코프 게임으로 모델링되며, 에이전트는 딥 Q네트워크를 통해 행동가치 및 정책 함수를 근사한다.
• 향상된 MADRL 알고리즘을 통해 중심 집합 학습과 분산 실행을 가능하게 하여, 에이전트가 오직 국지적 정보에 기반해 행동할 수 있도록 한다.
• 각 에이전트 내부에서 정책 및 가치 함수를 표현하기 위해 딥 신경망을 사용함으로써 고차원 상태-행동 공간에서의 함수 근사가 가능해진다.
• 학습 안정성 향상과 수렴성 향상을 위해 경험 리플레이와 타겟 네트워크를 활용한다.
• 역사적 데이터와 실시간 데이터를 종합적으로 사용해 엔드 투 엔드로 학습함으로써, 변화하는 시스템 조건에 대한 온라인 적응이 가능해진다.

실험 결과

연구 질문

• RQ1 분산 제어 접근 방식은 시스템 전체 전압 제어 성능을 유지하면서도 통신 오버헤드를 줄일 수 있는가?
• RQ2 제안된 방법은 하중 및 재생 에너지 발전의 불확실성 처리에 얼마나 효과적인가?
• RQ3 스펙트럼 클러스터링의 사용이 하위 네트워크 에이전트의 확장성과 협동성에 얼마나 기여하는가?
• RQ4 향상된 MADRL 알고리즘은 전통적인 모델 기반 및 데이터 기반 방법에 비해 전압 제어 정확도와 수렴 속도에서 어떻게 비교되는가?
• RQ5 이 방법은 시스템 파ameter 지식에 거의 의존하지 않고도 안정적인 전압 제어를 달성할 수 있는가?

주요 결과

• 제안된 방법은 IEEE 33-bus 및 123-bus 시스템에서 모두 모델 기반 및 데이터 기반 기준 대비 뛰어난 전압 제어 성능을 달성하였다.
• 기존 방법 대비 전압 위반 사례가 80% 이상 감소하였으며, 모든 버스 전압이 표준 0.95–1.05 p.u. 범위 내로 유지되었다.
• 국소적 의사결정에 기반해 중앙집중식 또는 완전히 협동적인 방법 대비 에이전트 간 통신이 60% 감소하였다.
• 30%의 하중 및 발전 변동성 하에서도 시스템은 안정적인 전압 프로파일을 유지하며 강건성을 입증하였다.
• 두 테스트 시스템 모두에서 표준 DQN 및 MADRL 기준 대비 향상된 MADRL 알고리즘이 더 빠른 수렴 속도와 높은 안정성을 보였다.
• 전체 시스템의 구조나 파ameter 지식이 필요로 하지 않음에도 불구하고 거의 최적에 가까운 협동 제어를 달성하여 설정 및 유지보수 오버헤드를 크게 감소시켰다.