[논문 리뷰] Multi-Agent Reinforcement Learning for Active Voltage Control on Power Distribution Networks

Jianhong Wang, Wangkun Xu외 3명|arXiv (Cornell University)|2021. 10. 27.

Optimal Power Flow Distribution인용 수 75

한 줄 요약

논문은 활성 전압 제어를 Dec-POMDP로 공식화하고, 배전 네트워크용 오픈소스 MARL 벤치마크를 구축하며, 실제 데이터를 사용해 여러 네트워크 규모에서 여러 최첨단 MARL 알고리즘을 평가한다.

ABSTRACT

This paper presents a problem in power networks that creates an exciting and yet challenging real-world scenario for application of multi-agent reinforcement learning (MARL). The emerging trend of decarbonisation is placing excessive stress on power distribution networks. Active voltage control is seen as a promising solution to relieve power congestion and improve voltage quality without extra hardware investment, taking advantage of the controllable apparatuses in the network, such as roof-top photovoltaics (PVs) and static var compensators (SVCs). These controllable apparatuses appear in a vast number and are distributed in a wide geographic area, making MARL a natural candidate. This paper formulates the active voltage control problem in the framework of Dec-POMDP and establishes an open-source environment. It aims to bridge the gap between the power community and the MARL community and be a drive force towards real-world applications of MARL algorithms. Finally, we analyse the special characteristics of the active voltage control problems that cause challenges (e.g. interpretability) for state-of-the-art MARL approaches, and summarise the potential directions.

연구 동기 및 목표

• 활성 전압 제어를 Dec-POMDP로 공식화하여 분산형, 확장 가능한 제어를 가능하게 한다.
• 배전 네트워크를 위한 MARL 벤치마크를 위한 오픈소스이자 구성 가능한 환경을 제공한다.
• MARL에서 차단 함수 보상을 통해 전압 제약을 어떻게 다룰 수 있는지 평가한다.
• 현실 세계 그리드 환경에서 MARL의 확장성, 로버스트성, 해석가능성 문제를 분석한다.

제안 방법

• 각 PV 인버터를 부분 관측 하에 작동하는 에이전트로 두고 문제를 Dec-POMDP로 형식화한다.
• 전압 제약을 인코딩하기 위한 바리어 함수 보상을 정의하며, Bowl-shape, L1-shape, L2-shape 변형을 포함한다.
• 실제 공개 데이터에 기반한 오픈소스 Python 환경과 세 가지 시나리오(소형에서 대형까지: 6~38 에이전트)를 구성한다.
• 실시간 부하 및 PV 데이터를 사용하여 현실적이고 시변적인 전력 주입과 전압을 구축한다.
• 연속 행동에서 일곱 가지 MARL 알고리즘(IDDPG, MADDPG, COMA, IPPO, MAPPO, SQDDPG, MATD3)을 평가한다.
• 전통적 방법(OPF 및 드롭 컨트롤)과 MARL 성능을 비교하고 바리어 함수의 영향을 분석한다.

실험 결과

연구 질문

• RQ1 활성 전압 제어를 위해 MARL이 안전 한계 내에서 전압을 유지하면서 대규모 분산 네트워크로 확장될 수 있는가?
• RQ2 다양한 전압 바리어 함수가 전압 제어(CR) 및 전력 손실(PL) 면에서 MARL 성능에 어떤 영향을 미치는가?
• RQ3 이 설정에서 MARL은 중앙집중식 OPF와 분산식 드롭 컨트롤과 어떻게 비교되는가?
• RQ4 활성 전압 제어에 MARL을 적용할 때 어떤 도전과제(해석가능성, 로버스트성 등)가 발생하며, 도메인 지식을 어떻게 통합할 수 있는가?

주요 결과

• MADDPG 및 MATD3는 서로 다른 바리어 함수에 대해 다양한 시나리오에서 일반적으로 우수하게 작동한다.
• 드롭 컨트롤이 배치의 단순성 면에서 강점이지만 MARL은 모든 경우에 일관되게 이를 능가하거나 OPF를 능가하지는 않는다.
• Bowl-shape 바리어 함수는 작은 네트워크에서 전력 손실을 낮게 유지하면서 높은 제어 가능률을 유지한다; 바리어 함수의 선택은 결과에 결정적으로 영향을 준다.
• L1-shape은 작은 네트워크에서 자주 높은 CR을 보이지만 큰 네트워크에서 더 높은 PL을 초래할 수 있다; L2-shape은 일부 설정에서 가장 큰 네트워크에서 우세하다.
• MARL은 제어 속도 요구가 낮은 조건에서 33-, 141-, 322-bus 네트워크로 확장되지만, 해석가능성 및 로버스트성은 여전히 핵심 과제이다.