[논문 리뷰] Multi-Agent Reinforcement Learning for Power Grid Topology Optimization

Erica van der Sar, Alessandro Zocca외 1명|arXiv (Cornell University)|2023. 10. 04.

Optimal Power Flow Distribution인용 수 4

한 줄 요약

이 논문은 버스 스위칭 동작를 활용하여 전력망 신뢰성과 확장성을 향상시키기 위해 계층적 다중 에이전트 강화학습(MARL) 프레임워크를 제안한다. 변전소당 다수의 에이전트로 제어를 분해하고 SACD 및 PPO 알고리즘을 활용함으로써, 단일 에이전트 방법과 유사한 최적의 성능를 달성하면서도 안정성과 네트워크 변화에 대한 적응성을 향상시킨다.

ABSTRACT

Recent challenges in operating power networks arise from increasing energy demands and unpredictable renewable sources like wind and solar. While reinforcement learning (RL) shows promise in managing these networks, through topological actions like bus and line switching, efficiently handling large action spaces as networks grow is crucial. This paper presents a hierarchical multi-agent reinforcement learning (MARL) framework tailored for these expansive action spaces, leveraging the power grid's inherent hierarchical nature. Experimental results indicate the MARL framework's competitive performance with single-agent RL methods. We also compare different RL algorithms for lower-level agents alongside different policies for higher-order agents.

연구 동기 및 목표

• 버스 및 회로 스위칭으로 인해 발생하는 광범위한 조합적 행동 공간으로 인해 대규모 전력망에서 강화학습(RL)의 확장성 도전 과제를 해결한다.
• 동적 전력망 조건에 적응하는 데 한계가 있는 단일 에이전트 RL 및 규칙 기반 또는 이후 상태 RL 방법의 한계를 극복한다.
• 송전망의 본질적인 계층적 구조를 활용하여 제어 및 확장성을 향상시킬 수 있는 협동 다중 에이전트 프레임워크를 개발한다.
• 저수준 에이전트에서 다양한 MARL 아키텍처와 RL 알고리즘(SACD, PPO)을 비교하고, 조율을 위한 중수준 정책 전략(CAPA, 고정, 무작위)을 평가한다.
• 다중 에이전트 RL이 단일 에이전트 기준선 대비 최적의 전력망 성능를 달성하면서도 안정성과 적응성을 향상시킬 수 있음을 입증한다.

제안 방법

• 세 수준의 계층적 다중 에이전트 강화학습(MARL) 아키텍처를 구현: 고수준 규칙 기반 에이전트가 전역 조율을 담당하고, 중수준 에이전트가 어느 변전소에서 행동할지 선택하며, 저수준 에이전트가 버스 스위칭 동작을 수행한다.
• 그래프 신경망(GNNs)을 사용하여 변전소의 구조 및 전력 흐름 상태를 인코딩함으로써, 에이전트가 그래프 구조화된 전력망 데이터를 이해할 수 있도록 한다.
• 중앙집중적 훈련과 분산 실행(CTDE)을 통해 샘플 효율성을 향상시키기 위해, 저수준 RL 알고리즘으로 SACD(소프트 액터-크리틱 이산형)와 PPO(근접 정책 최적화)를 사용한다.
• 협동 전략을 평가하기 위해 두 가지 다중 에이전트 변종을 도입: 독립형 PPO(IPPO) 및 분산형 PPO(DPPO), 그리고 두 가지 SACD 변종: 독립형 SACD(ISACD) 및 분산형 SACD(DSACD).
• 하이퍼파rameter 최적화를 위해 Optuna를 활용하여 다중 에이전트의 파rameter를 조정함으로써, 단일 에이전트 설정에서 직접 이전한 것보다 성능을 향상시킨다.
• 실제 전력망 운영을 시뮬레이션하기 위해 Grid2Op 환경을 사용하며, 구조적 변화 및 사고 대응 기능을 포함하고, 전력망 안정성과 부하 흐름 안정성 기반 보상 체계를 적용한다.

실험 결과

연구 질문

• RQ1 계층적 다중 에이전트 RL 프레임워크는 확장성을 향상시키면서도 단일 에이전트 RL과 유사한 성능를 달성할 수 있는가?
• RQ2 다중 에이전트 환경에서 전력망 구조 제어에 적용했을 때, 다양한 저수준 RL 알고리즘(SACD 대비 PPO)의 성능는 어떠한가?
• RQ3 다양한 중수준 조율 정책(CAPA, 고정, 무작위)이 MARL 시스템의 학습 안정성과 최종 성능에 미치는 영향는 어떠한가?
• RQ4 하이퍼파rameter 튜닝은 단일 에이전트 설정에서 파라미터를 그대로 이전한 경우에 비해 다중 에이전트 RL 에이전트의 성능 향상에 얼마나 기여하는가?
• RQ5 분산형 다중 에이전트 접근 방식은 단일 에이전트 또는 이후 상태 RL 방법에 비해 네트워크 변화에 대한 적응성을 향상시키는가?

주요 결과

• 하이퍼파rameter 튜닝을 적용한 분산형 SACD(DSACD) 에이전트는 단일 에이전트 SACD와 유사한 환경 상호작용 수량 내에서 최적 점수를 달성했으며, 훨씬 높은 훈련 안정성을 유지했다.
• 튜닝된 하이퍼파rameter를 적용한 ISACD 에이전트는 최고 성능에 도달했지만 불안정성을 보였으며, 이는 다중 에이전트 환경에서 SACD가 하이퍼파라미터 선택에 매우 민감함을 시사한다.
• PPO 기반 다중 에이전트 에이전트(IPPO 및 DPPO)는 SACD보다 하이퍼파라미터 차이에 덜 민감했으며, 단일 에이전트 PPO와 유사한 상호작용 수량 내에서 최적 성능를 달성했다.
• 중수준 CAPA 정책은 고정 및 무작위 정책보다 학습 안정성과 최종 성능 측면에서 뛰어났으며, 무작위 정책은 가장 불안정한 학습 동역학을 유도했다.
• 다중 에이전트 프레임워크는 각 에이전트의 효과적 행동 공간을 감소시켜 확장성을 향상시키고, 발전기 재배치와 같은 복잡한 동작의 간편한 통합을 가능케 했다.
• 계층적 MARL 프레임워크는 단일 에이전트 RL과 경쟁 가능한 성능를 보였으며, 특히 동적 전력망 조건에서 더 뛰어난 강건성과 적응성을 제공했다.