[논문 리뷰] Learning to run a Power Network Challenge: a Retrospective Analysis

Antoine Marot, Benjamin Donnot외 8명|arXiv (Cornell University)|2021. 03. 02.

Smart Grid Energy Management참고 문헌 31인용 수 13

한 줄 요약

이 논문은 NeurIPS 2020에서 개최된 L2RPN 챌린지를 제시하며, 실제 전력망 운영에서 강화학습 연구를 가능하게 하는 오픈소스 Grid2Op 프레임워크를 소개한다. 이 프레임워크는 재생 가능 에너지 변동성 하에서 초과 인간 수준의 그리드 내성과 적응성을 보이며, 수상한 에이전트들이 복잡한 물리 기반 환경에서 견고하고 장기적인 의사결정을 수행함을 입증한다.

ABSTRACT

Power networks, responsible for transporting electricity across large geographical regions, are complex infrastructures on which modern life critically depend. Variations in demand and production profiles, with increasing renewable energy integration, as well as the high voltage network technology, constitute a real challenge for human operators when optimizing electricity transportation while avoiding blackouts. Motivated to investigate the potential of AI methods in enabling adaptability in power network operation, we have designed a L2RPN challenge to encourage the development of reinforcement learning solutions to key problems present in the next-generation power networks. The NeurIPS 2020 competition was well received by the international community attracting over 300 participants worldwide. The main contribution of this challenge is our proposed comprehensive 'Grid2Op' framework, and associated benchmark, which plays realistic sequential network operations scenarios. The Grid2Op framework, which is open-source and easily re-usable, allows users to define new environments with its companion GridAlive ecosystem. Grid2Op relies on existing non-linear physical power network simulators and let users create a series of perturbations and challenges that are representative of two important problems: a) the uncertainty resulting from the increased use of unpredictable renewable energy sources, and b) the robustness required with contingent line disconnections. In this paper, we give the competition highlights. We present the benchmark suite and analyse the winning solutions, including one super-human performance demonstration. We propose our organizational insights for a successful competition and conclude on open research avenues. Given the challenge success, we expect our work will foster research to create more sustainable solutions for power network operations.

연구 동기 및 목표

• 재생 가능 에너지 통합과 탈중앙화된 발전으로 인한 전력망 복잡성 증가에 대응한다.
• 강화학습을 통한 전력 시스템 운영 분야에서 접근 가능하고 현실적인 벤치마크와 시뮬레이터의 부족을 해결한다.
• AI 및 전력 시스템 분야 간 협업을 촉진하기 위해 공동으로 사용 가능한 오픈 플랫폼을 통해 연구 및 경쟁을 위한 기반을 마련한다.
• 실시간 전력망 제어를 위한 견고하고 적응력 있으며 확장 가능한 RL 에이전트의 개발을 가능하게 한다.
• 국소적이지 않은 영향을 미치는 대규모, 조합적이고 물리적으로 기반을 둔 의사결정 문제를 해결함으로써 RL 분야의 최첨단 수준을 향상시킨다.

제안 방법

• 실제 전력망 시뮬레이터(예: pandapower)와 연동되는 오픈소스 Grid2Op 프레임워크를 개발하여 현실적인 전력 흐름 역학을 시뮬레이션한다.
• 두 가지 경로로 구성된 경쟁 구조를 설계: 하나는 선로 장애에 대한 내성에 중점을 두고, 다른 하나는 재생 가능 에너지 변동성에 대한 적응성에 중점을 둔다.
• 고차원 이산 행동 공간을 포함한 순차적 의사결정 환경을 정의하며, 이는 토폴로지 제어 및 발전기 재배치를 포함한다.
• 생존 시간, 선로 흐름 한계, 에너지 손실 최소화를 기반으로 한 보상 함수를 구현하며, '무작위 행동' 기반 기준선을 중심으로 정규화한다.
• 참가자들에게 다양한 시나리오와 실제 전력망 과제를 반영한 흐트러짐을 포함한 포괄적인 벤치마크 세트를 제공한다.
• Codalab 플랫폼을 사용하여 표준화된 랭킹을 통해 평가를 가능하게 하였으며, 실시간 피드백과 다중 목적 평가 점수를 제공한다.

실험 결과

연구 질문

• RQ1 강화학습 에이전트는 높은 재생 가능 에너지 변동성과 장애 발생 상황 하에서도 전력 시스템 안정성을 유지하는 데 초과 인간 수준의 성능을 달성할 수 있는가?
• RQ2 실시간 전력망 운영에서 대규모이고 조합적인 행동 공간을 효과적으로 탐색할 수 있는가?
• RQ3 Grid2Op와 같은 오픈소스 프레임워크가 AI 연구자들이 전력 시스템 분야에 진입하는 데 장벽을 얼마나 낮출 수 있는가?
• RQ4 복잡하고 물리 기반의 그리드 환경에서 최상위 성능을 내는 RL 에이전트의 주요 행동 패턴과 내성 특성은 무엇인가?
• RQ5 안전성, 비용, 적응성의 다중 목적 평가를 어떻게 구성할 수 있는가? 이는 그리드 운영 에이전트의 안전성과 효율성을 동시에 유도할 수 있다.

주요 결과

• Baidu에서 개발한 RlAgent가 도메인 전문 지식 없이도 내성성 및 적응성 트랙 양쪽에서 초과 인간 수준의 성능을 달성했다.
• 상위 에이전트들은 강한 외부 자극 하에서도 시스템 안정성을 유지하는 장기적인 의사결정 시퀀스를 보이며 높은 내성성을 입증했다.
• 에너지 손실 최적화를 위한 전부 20/100 보너스 포인트를 확보한 에이전트는 없었으며, 이는 손실 최소화가 생존보다 훨씬 더 어려운 과제임을 시사한다.
• '무작위 행동' 기반 생존 시간을 중심으로 한 보상 형태는 때로 과도하게 엄격한 페널티를 줄 수 있었으며, 향후 버전에서는 더 부드러운 정규화가 필요함을 시사한다.
• Grid2Op 프레임워크는 전 세계 300명이 넘는 참가자로 구성된 공동체를 성공적으로 유치하였으며, AI 및 전력 시스템 연구 간 다리를 놓는 데 효과적임을 입증했다.
• 이 챌린지는 현재의 RL 에이전트들이 효율성보다 안전성을 우선시하는 경향이 있음을 드러내었으며, 향후 벤치마크에서 더 나은 다중 목적 인centive 설계가 필요함을 시사한다.