[논문 리뷰] Reinforcement Learning for Electricity Network Operation

Adrian Kelly, Aïdan O'Sullivan외 2명|arXiv (Cornell University)|2020. 03. 16.

Smart Grid Energy Management참고 문헌 12인용 수 7

한 줄 요약

이 논문은 실시간 전력망 운영을 최적화하기 위해 강화학습(RL)을 사용하는 시뮬레이션 환경에서 실시된 L2RPN 2020 챌린지를 제시한다. IEEE-14에서 IEEE-118로 확장된 네트워크와 재조정 조작을 도입함으로써, 챌린지는 탄소중립 전력 시스템을 위한 안정적이고 비용 효율적인 제어 정책을 학습할 수 있도록 RL 에이전트를 지원하며, 전력망 공학과 기계학습 분야 간의 협력을 촉진한다.

ABSTRACT

This paper presents the background material required for the Learning to Run Power Networks Challenge. The challenge is focused on using Reinforcement Learning to train an agent to manage the real-time operations of a power grid, balancing power flows and making interventions to maintain stability. We present an introduction to power systems targeted at the machine learning community and an introduction to reinforcement learning targeted at the power systems community. This is to enable and encourage broader participation in the challenge and collaboration between these two communities.

연구 동기 및 목표

• 실시간 전력송전망 제어에 대해 안전하고 안정적이며 비용 효율적인 방식으로 강화학습(RL)의 잠재력을 평가하기 위해.
• 재생 가능 에너지 통합 증가와 확률적 발전 패턴으로 인한 전력망 운영의 복잡성 증가 문제를 해결하기 위해.
• 공동 벤치마크 챌린지를 통해 전력망 공학과 기계학습 분야 간 격차를 메우기 위해.
• 실제 전력망 동역학에 기반한 RL 에이전트 훈련 및 테스트를 위한 오픈소스 시뮬레이션 환경(Grid2Op)을 개발하고 구현하기 위해.
• 탄소중립화 및 전기화 추세에 따라 실생활 전력망 운영에 실용적으로 적용 가능한 강화학습 기법을 발전시키기 위해.

제안 방법

• 챌린지는 전력망 동역학을 모델링하고 RL 에이전트와 네트워크 간 상호작용을 가능하게 하기 위해 오픈소스 시뮬레이션 환경인 Grid2Op를 사용한다.
• 에이전트는 선로 스위칭 등의 위상 변경 조작과 발전기 출력 조정 등의 재조정 조작을 통해 네트워크를 제어한다.
• 환경는 뉴턴-라프슨 전력 흐름 알고리즘을 사용해 실시간 전력 흐름을 시뮬레이션하며, 선로의 열 제한 등의 안전 제약 조건을 강제한다.
• 물리적 인프라에 대한 위험을 피하기 위해 시뮬레이션 환경에서 훈련이 수행되며, 선로 적재율 최소화 및 네트워크 장애 회피를 기반으로 보상이 부여된다.
• 실제 세계의 변동성을 반영하기 위해 결정론적 및 확률론적 부하 및 발전 프로파일을 지원한다.
• 챌린지는 여러 테스트 케이스에서의 성능 기반으로 에이전트를 평가하는 벤치마크 프로토콜을 사용하며, 장애나 사고 발생 시에는 점수 0을 기준으로 한다.

실험 결과

연구 질문

• RQ1 강화학습 에이전트는 안정성과 운영 비용 최소화를 유지하면서 대규모 전력망(IEEE-118)을 실시간으로 운영할 수 있는가?
• RQ2 탄소중립 전력 시스템에서 흔히 볼 수 있는 확률적 부하 및 발전 패턴을 강화학습 에이전트는 얼마나 효과적으로 다룰 수 있는가?
• RQ3 전통적인 최적 전력 흐름 방법이나 인간 운영자에게는 명백하지 않은 유연하고 비용 효율적인 제어 전략을 강화학습 에이전트가 발견할 수 있는가?
• RQ4 위상 제어만으로는 비교할 때 재조정 조작이 에이전트 성능 향상에 어떤 역할을 하는가?
• RQ5 실제 시뮬레이션 환경에서 예측되지 않은 부하 및 발전 시나리오에 대해 강화학습 에이전트는 얼마나 강건한가?

주요 결과

• L2RPN 2020 챌린지는 벤치마크를 IEEE-14에서 IEEE-118로 확장하여 상태 공간과 행동 공간의 복잡도를 크게 증가시켰다.
• 재조정 조작의 포함으로 인해 에이전트는 선로 적재율을 더 잘 최소화하고 운영 효율성을 향상시키는 데 성공했다.
• 여러 팀이 딥 Q러닝 및 기타 딥 강화학습 방법을 활용해 강력한 RL 에이전트를 개발하여, 전력망 제어에서 RL의 실현 가능성을 입증했다.
• 시뮬레이션에서 훈련된 에이전트는 예측되지 않은 부하 및 발전 프로파일로의 일반화 능력이 뛰어나 실생활 적용 잠재성을 보였다.
• Grid2Op 환경은 RL이 전력망 분야에 적용될 수 있도록 표준화된 벤치마크로 효과적으로 기능했으며, 재현 가능한 평가와 협업을 가능하게 했다.
• 이 챌린지는 전력망 공학과 기계학습 연구자 간의 다학제적 협력을 성공적으로 촉진하여, 지능형 그리드 운영 분야의 발전을 이끌었다.