[논문 리뷰] Learning to run a power network challenge for training topology controllers

Antoine Marot, Benjamin Donnot외 5명|arXiv (Cornell University)|2019. 12. 05.

Optimal Power Flow Distribution참고 문헌 15인용 수 60

한 줄 요약

본 논문은 imitation과 reinforcement learning을 통해 전력망의 토폴로지 제어 에이전트를 학습하는 프레임워크를 제시하고, IEEE14 기반 환경을 이용한 최초의 Learning to Run a Power Network (L2RPN) 대회에 대한 결과를 보고하며, 최적화 격차를 드러내는 오라클 상한 분석도 제공합니다.

ABSTRACT

For power grid operations, a large body of research focuses on using generation redispatching, load shedding or demand side management flexibilities. However, a less costly and potentially more flexible option would be grid topology reconfiguration, as already partially exploited by Coreso (European RSC) and RTE (French TSO) operations. Beyond previous work on branch switching, bus reconfigurations are a broader class of action and could provide some substantial benefits to route electricity and optimize the grid capacity to keep it within safety margins. Because of its non-linear and combinatorial nature, no existing optimal power flow solver can yet tackle this problem. We here propose a new framework to learn topology controllers through imitation and reinforcement learning. We present the design and the results of the first "Learning to Run a Power Network" challenge released with this framework. We finally develop a method providing performance upper-bounds (oracle), which highlights remaining unsolved challenges and suggests future directions of improvement.

연구 동기 및 목표

• 재생에너지 통합과 수요 변동성 속에서 그리드를 안전 여유 내에 유지하기 위한 유연하고 비용 효율적인 방법으로 토폴로지 재구성을 촉진한다.
• 실시간 전력 시스템 환경에서 작동하는 토폴로지 제어 에이전트를 학습하고 벤치마크할 플랫폼을 제공한다.
• 연속적이고 거의 실시간에 가까운 그리드 최적화를 위한 강화학습 및 관련 AI 기법의 가능성과 견고성을 탐구한다.
• 제출된 에이전트가 최적의 토폴로지 제어 성능에 얼마나 근접했는지 양자화하기 위한 오라클 기반 상한을 제공한다.

제안 방법

• IEEE14를 기반으로 한 토폴로지 액션(line switching 및 bus switching)과 실시간 주입을 포함하는 오픈 소스 합성 전력망 환경.
• 관찰되지 않은 입력, 관찰된 주입, 토폴로지 및 출력(흐름 및 과부하)을 포착하기 위한 두 요인 Markov Decision Process로 문제를 공식화한다.
• 무효한 행동과 연쇄 고장을 페널티로 주고 잔류 그리드 용량을 최대화하는 실시간 보상/점수 함수를 정의한다.
• 6주 Codalab 대회 내에서 다양한 에이전트(강화학습, 전문가 시스템, 트리 탐색)의 구현 및 평가.
• 에이전트 행동, 액션 공간 축소 전략 및 견고성 분석; 성능 한계에 대한 오라클 경로 기반 상한과의 비교.
• 상위 참가자들 중 A3C (actor-critic) 및 dueling DQN 아키텍처를 사용하고, 안정성과 성능을 개선하기 위한 커리큘럼 학습 및 전문가 규칙 가이드가 적용된다.

실험 결과

연구 질문

• RQ1 RL 및 관련 AI 방법이 안전 및 운영 제약을 고려한 실시간 그리드 운용에 대해 효과적인 토폴로지 제어 정책을 학습할 수 있는가?
• RQ2 토폴로지 재구성 작업에서 행동 공간 설계 및 전문가 선행 지식이 학습 효율성과 정책 견고성에 미치는 영향은 무엇인가?
• RQ3 학습된 에이전트가 최적의 토폴로지 궤적에 얼마나 근접할 수 있으며 오라클 상한과의 격차는 어느 정도인가?
• RQ4 시나리오의 특성(난이도, 지속 시간, 과부하 타이밍)이 현재 접근법을 가장 크게 어떻게 도전시키는가?
• RQ5 챌린지 기반 벤치마크가 전력 시스템의 토폴로지 제어 연구를 발전시키는 생산적인 플랫폼을 제공하는가?

주요 결과

• RL 기반 접근법이 대회 참가자들 중 최상위 성과를 달성했다.
• 최상위 팀으로 LB(dueling DQN + prior analysis)와 LR(A3C-based actor-critic)이 오픈 소스 코드와 함께 참여했으며; LR은 테스트 시 시뮬레이션 조회 없이 학습에 의존했다.
• 오라클 경로 기반 상한이 최적 솔루션과의 남은 최적화 격차를 드러냈다.
• 대다수의 참가자가 탐색을 제한했고, 일부 에이전트는 소수의 남정류장에 집중하여 탐색 vs. 활용의 트레이드오프를 강조했다.
• 본 연구는 AI를 통한 토폴로지 제어의 실행 가능성을 보여주고, 향후 벤치마크의 견고성과 확장성 격차를 확인한다.
• 분석에 따르면 최상위 에이전트가 테스트 시나리오를 마칠 수는 있지만, 몇몇 도전적인 시나리오에서는 어느 에이전트도 성공하지 못하는 현상이 남아 대규모 벤치마크의 필요성을 시사한다.