[논문 리뷰] PowerNet: Multi-agent Deep Reinforcement Learning for Scalable Powergrid Control

Chen Dong, Zhaojian Li외 4명|arXiv (Cornell University)|2020. 11. 24.

Microgrid Control and Optimization참고 문헌 48인용 수 6

한 줄 요약

이 논문은 인버터 기반 마이크로그리드에서 확장 가능한 제2차 전압 제어를 위한 탈중앙화된, 온정책 다중 에이전트 강화학습 알고리즘인 PowerNet을 제안한다. 공간 할인 인자, 미분 가능한 통신, 액션 스무딩을 통합함으로써 PowerNet은 최신의 다중에이전트강화학습(MARL) 방법과 모델기반 제어 대비 더 빠른 수렴과 뛰어난 전압 조절 성능을 달성하였으며, 40버스 시스템에서 추론 시간이 36ms 이내이다.

ABSTRACT

This paper develops an efficient multi-agent deep reinforcement learning algorithm for cooperative controls in powergrids. Specifically, we consider the decentralized inverter-based secondary voltage control problem in distributed generators (DGs), which is first formulated as a cooperative multi-agent reinforcement learning (MARL) problem. We then propose a novel on-policy MARL algorithm, PowerNet, in which each agent (DG) learns a control policy based on (sub-)global reward but local states from its neighboring agents. Motivated by the fact that a local control from one agent has limited impact on agents distant from it, we exploit a novel spatial discount factor to reduce the effect from remote agents, to expedite the training process and improve scalability. Furthermore, a differentiable, learning-based communication protocol is employed to foster the collaborations among neighboring agents. In addition, to mitigate the effects of system uncertainty and random noise introduced during on-policy learning, we utilize an action smoothing factor to stabilize the policy execution. To facilitate training and evaluation, we develop PGSim, an efficient, high-fidelity powergrid simulation platform. Experimental results in two microgrid setups show that the developed PowerNet outperforms a conventional model-based control, as well as several state-of-the-art MARL algorithms. The decentralized learning scheme and high sample efficiency also make it viable to large-scale power grids.

연구 동기 및 목표

• 분산 마이크로그리드에서 중앙집중식 및 모델기반 제2차 전압 제어의 확장성과 내성 문제를 해결한다.
• 전체 시스템 모델에 의존하지 않고도 효율적이고 확장 가능한 제어를 가능하게 하는 탈중앙화된 협업 다중에이전트강화학습(MARL) 프레임워크를 개발한다.
• 기존 MARL 방법이 시스템 불확실성, 통신 오버헤드, 대규모 송배전망으로의 확장성 문제를 해결하지 못하는 한계를 극복한다.
• 공간 할인 및 미분 가능한 통신과 같은 새로운 아키텍처 구성 요소를 통해 학습 효율성 향상과 정책 일반화 능력을 향상시킨다.
• 완전한 재학습 없이도 네트워크 구조 변화(예: DG 추가/제거)에 동적으로 대응할 수 있도록 하여 운영 내성성을 향상시킨다.

제안 방법

• 탈중앙화된 MARL을 위한 부분관측 마르코프 결정과정(POMDP)으로 제2차 전압 제어 문제를 수식화한다.
• 멀리 떨어진 에이전트의 영향을 감소시키는 공간 할인 인자를 도입하여 학습 속도 향상과 확장성 향상에 기여한다.
• 이름표 기반의 통신 프로토콜을 도입하여 인접한 에이전트들이 암호화된 메시지를 교환함으로써 협업 능력을 향상시킨다.
• 온정책 학습 중 시스템 노이즈와 불확실성 하에서 정책 실행을 안정화하기 위해 액션 스무딩 인자를 적용한다.
• 각 분산 발전기(DG)가 국지적 관측과 이웃 에이전트로부터 수신한 메시지만을 사용하여 정책을 학습하는 탈중앙화된 온정책 학습 기반 설계를 구현한다.
• MARL 정책의 현실적인 학습 및 평가를 가능하게 하는 고정밀도이고 효율적인 전력망 시뮬레이션 플랫폼인 PGSim을 개발한다.

실험 결과

연구 질문

• RQ1 부하 변화 상황에서 전통적인 모델기반 제어 대비 다중에이전트 딥강화학습 접근법이 제2차 전압 조절에서 뛰어난 성능을 보일 수 있는가?
• RQ2 공간 할인 인자의 통합이 대규모 마이크로그리드 제어에서 학습 효율성과 확장성에 어떻게 기여하는가?
• RQ3 미분 가능한 학습 기반 통신 프로토콜이 인접한 분산 발전기 간의 협업 능력을 어느 정도 향상시키는가?
• RQ4 PowerNet은 재학습 없이도 DG의 연결 해제 또는 추가와 같은 동적 네트워크 변화에 어떻게 대응하는가?
• RQ5 대규모 마이크로그리드에서 PowerNet의 추론 지연 시간은 얼마이며, 실시간 운영 요구 조건을 충족하는가?

주요 결과

• 10% 부하 변동 조건에서 마이크로그리드-20 설정에서 PowerNet은 평균 보상 0.781을 기록하여 MPC(0.642), IA2C(0.447) 및 기타 MARL 기준선보다 뚜렷이 뛰어난 성능을 보였다.
• 40버스 마이크로그리드에서 PowerNet은 안정적인 학습과 일관된 성능 유지를 기록했으며, CommNet는 수렴하지 못하고 IA2C보다 열등한 성능을 보였다.
• 40버스 시스템에서 PowerNet의 추론 시간은 35.8ms에 불과했으며, 안정적인 시간/크기 비율 0.90을 유지하여 실시간 적용 가능성과 확장성을 입증했다.
• 마이크로그리드-20에서 사전학습된 모델을 활용하면 DG 단위를 추가하거나 제거할 경우, 전체 재학습 대비 더 빠른 수렴과 향상된 성능을 달성할 수 있었다.
• PowerNet은 모델 예측 제어(MPC) 방법 대비 약 19.6배 더 빠른 수렴 속도를 보이며 뛰어난 샘플 효율성을 입증했다.
• 액션 스무딩 인자는 시스템 노이즈 하에서 정책 실행을 효과적으로 안정화시켜 동적 환경에서의 강건한 성능 기여를 하였다.