[논문 리뷰] Power Grid Congestion Management via Topology Optimization with AlphaZero

Matthias Dorfer, Anton R. Fuxjäger외 3명|arXiv (Cornell University)|2022. 11. 10.

Complex Network Analysis Techniques인용 수 9

한 줄 요약

이 논문은 태풍, 풍력, 태양광 등 변동성이 큰 재생 가능 에너지원으로 인한 증가하는 송전망 혼잡 문제를 해결하기 위해, 고비용 재배치 조정이 필요 없는 송전망 구조 최적화를 위한 알파제로 기반 강화학습 에이전트를 제안한다. 동적으로 스위치를 재구성함으로써, 평균 재배치 조정을 60% 감소시키고 기준 비용의 40% 수준으로 낮추어 전통적 방법을 능가하며 재생 가능 에너지 통합 송전망에서 탄소 배출 없이도 혼잡 관리를 가능하게 한다.

ABSTRACT

The energy sector is facing rapid changes in the transition towards clean renewable sources. However, the growing share of volatile, fluctuating renewable generation such as wind or solar energy has already led to an increase in power grid congestion and network security concerns. Grid operators mitigate these by modifying either generation or demand (redispatching, curtailment, flexible loads). Unfortunately, redispatching of fossil generators leads to excessive grid operation costs and higher emissions, which is in direct opposition to the decarbonization of the energy sector. In this paper, we propose an AlphaZero-based grid topology optimization agent as a non-costly, carbon-free congestion management alternative. Our experimental evaluation confirms the potential of topology optimization for power grid operation, achieves a reduction of the average amount of required redispatching by 60%, and shows the interoperability with traditional congestion management methods. Our approach also ranked 1st in the WCCI 2022 Learning to Run a Power Network (L2RPN) competition. Based on our findings, we identify and discuss open research problems as well as technical challenges for a productive system on a real power grid.

연구 동기 및 목표

• 바람, 태양광 등 변동성이 큰 재생 가능 에너지원으로 인한 증가하는 송전망 혼잡 문제를 해결하기 위해.
• 고비용이며 탄소를 배출하는 화력 발전기의 재배치 조정에 대한 의존도를 줄이기 위해.
• 강화학습을 통한 구조 최적화를 통해 비용이 들지 않으며 탄소를 배출하지 않는 혼잡 관리 솔루션을 개발하기 위해.
• 전통적 혼잡 관리 방법과 구조 최적화를 융합하여 그리드의 복원력과 비용 효율성을 향상시키기 위해.
• 벤치마킹과 실제 사례 시나리오를 통한 시범 운영을 통해 실용적 타당성을 입증하기 위해.

제안 방법

• 에이전트는 최적의 송전망 구조 변화를 탐색하기 위해 알파제로의 몬테카를로 트리 서치(MCTS)와 딥 강화학습을 결합한다.
• 해당 방법은 그리드2오퍼레이션(_GRID2Op_) 환경에서 시뮬레이션된 그리드 상태를 기반으로 자기대칭 학습(self-play)과 자기지도 학습(self-supervised learning)을 통해 정책 및 가치 네트워크를 훈련시킨다.
• 구조 조작는 송전선의 스위치 작동으로 표현되며, 탐색 효율성을 높이기 위해 탐색에 유리한 부분집합으로 액션 공간을 축소한다.
• 에이전트는 시뮬레이션된 그리드 운영에서 생존 단계를 최대화하면서 재배치 요구량을 최소화하도록 훈련된다.
• 경쟁적 환경에서 평가되며(WCCI 2022 L2RPN), 기준 및 하이브리드 에이전트와 비교된다.
• 다단계, 다후보 복구 전략을 시각화할 수 있는 웹 기반 AI 지원 제어 데모가 개발되었다.

실험 결과

연구 질문

• RQ1 알파제로 기반의 에이전트는 고비용 재배치 조정에 의존하지 않고 송전망 구조 최적화를 효과적으로 수행할 수 있는가?
• RQ2 비용, 복원력, 재배치 감소 측면에서 전통적 혼잡 관리 방법과 비교해 구조 최적화는 어떠한가?
• RQ3 기존의 재배치 전략과의 융합은 어느 정도 의미 있는가?
• RQ4 실제 송전망에 실용적으로 구현하기 위해 이러한 에이전트를 훈련시키는 데 있어 핵심적인 기술적 과제는 무엇인가?
• RQ5 탐색 능력과 전역 최적화 가능성을 향상시키기 위해 액션 공간 표현 방식을 어떻게 개선할 수 있는가?

주요 결과

• 알파제로 기반의 구조 최적화 에이전트는 기준 방법 대비 평균 재배치 필요 전력량을 60% 감소시켰다.
• 구조 최적화와 전통적 조치를 융합한 하이브리드 에이전트는 WCCI 2022 L2RPN 경쟁에서 총 생존 단계의 82%를 확보하여 모든 경쟁자보다 뛰어난 성능을 보였다.
• 에이전트는 혼잡 관리 비용을 원래 기준 비용의 40%로 낮춰 운영 비용을 크게 절감했다.
• 최상의 구조 조작 액션은 이후 재배치와 65% 정도의 호환성을 보였으며, 이는 구조 최적화 및 재배치 정책을 함께 훈련시킬 필요가 있음을 시사한다.
• 에이전트는 WCCI 2022 L2RPN 경쟁에서 1위를 차지하여 뛰어난 성능과 실제 적용 가능성을 입증했다.
• 이 방법은 기존 혼잡 관리 시스템과 상호운용 가능하며, 다단계, 해석 가능한 추천을 제공하는 AI 지원 제어를 가능하게 한다.