[논문 리뷰] pymgrid: An Open-Source Python Microgrid Simulator for Applied Artificial Intelligence Research

Gonzague Henri, Tanguy Levent외 3명|arXiv (Cornell University)|2020. 11. 11.

Microgrid Control and Optimization참고 문헌 10인용 수 15

한 줄 요약

pymgrid는 강화학습(RL) 연구를 위해 특별히 설계된 오픈소스 파이썬 시뮬레이터로, 마이크로그리드 생성 및 테스트를 지원한다. 두 가지 표준화된 마이크로그리드 목록(pymgrid10 및 pymgrid25)을 통해 확장성 있고 재현 가능한 벤치마킹을 가능하게 하며, 다양한 아키텍처와 기준 알고리즘을 제공한다. 결과적으로 DT-증강 Q-학습은 규칙 기반 제어보다 평균 비용에서 약 44% 우수한 성능을 보였지만, 모델 예측 제어(MPC)에 비해 아직 미치지 못하는 것으로 나타났다.

ABSTRACT

Microgrids, self contained electrical grids that are capable of disconnecting from the main grid, hold potential in both tackling climate change mitigation via reducing CO2 emissions and adaptation by increasing infrastructure resiliency. Due to their distributed nature, microgrids are often idiosyncratic; as a result, control of these systems is nontrivial. While microgrid simulators exist, many are limited in scope and in the variety of microgrids they can simulate. We propose pymgrid, an open-source Python package to generate and simulate a large number of microgrids, and the first open-source tool that can generate more than 600 different microgrids. pymgrid abstracts most of the domain expertise, allowing users to focus on control algorithms. In particular, pymgrid is built to be a reinforcement learning (RL) platform, and includes the ability to model microgrids as Markov decision processes. pymgrid also introduces two pre-computed list of microgrids, intended to allow for research reproducibility in the microgrid setting.

연구 동기 및 목표

• 강화학습 연구를 위한 마이크로그리드 제어의 제3차 제어 수준에서의 오픈소스이자 확장 가능한 마이크로그리드 시뮬레이터의 부족을 해결하기 위해.
• 연구의 재현 가능성을 향상시키고 알고리즘 벤치마킹을 가능하게 하기 위해 표준화된 사전 계산된 마이크로그리드 데이터셋(pymgrid10 및 pymgrid25)을 구축하기 위해.
• 도메인의 복잡성을 추상화하여 연구자가 제어 알고리즘 개발에 집중할 수 있도록 유연하고 확장 가능한 시뮬레이션 환경을 제공하기 위해.
• 공정한 비교를 위해 규칙 기반 제어, MPC, Q-학습, DT-증강 Q-학습 등의 기준 제어 알고리즘을 제공하기 위해.
• 미래의 실시간 데이터 통합, 탄소 회계, 고급 강화학습 알고리즘 통합을 통해 저탄소 전력망 운영을 지원하기 위해.

제안 방법

• pymgrid는 마이크로그리드를 생성하기 위한 MicrogridGenerator 클래스와 시간 시리즈 시뮬레이션을 실행하기 위한 Microgrid 시뮬레이터 클래스를 포함한 파이썬 패키지로 구축되었다.
• 실제 마이크로그리드 운영 조건을 보장하기 위해 DOE OpenEI에서 확보한 실세계의 부하 및 PV 생산 데이터를 사용하여 마이크로그리드 구성 요소를 설정한다.
• 마이크로그리드는 마르코프 결정 과정(MDP)으로 모델링되어 강화학습 프레임워크와 직접 통합 가능하다.
• 이 시뮬레이터는 전력망 연결형, 오프그리드형, 약한 전력망 구성(발전기, 배터리, PV 포함)을 포함한 다양한 마이크로그리드 아키텍처를 지원한다.
• 재현 가능한 평가를 위해 사전 계산된 두 가지 표준 벤치마크 세트—pymgrid10(10개의 단순 마이크로그리드) 및 pymgrid25(25개의 다양한 마이크로그리드)—가 제공된다.
• 기준 제어 알고리즘(RBC, MPC, Q-학습, DT-증강 Q-학습)이 구현되어 있으며, pymgrid25 데이터셋에서 평가되어 성능 기준을 설정한다.

실험 결과

연구 질문

• RQ1 표준화된 오픈소스 마이크로그리드 시뮬레이터가 마이크로그리드 제어를 위한 적용형 강화학습 연구의 재현 가능성에 기여할 수 있는가?
• RQ2 규칙 기반 제어, 모델 예측 제어, Q-학습 변종 등 다양한 제어 알고리즘이 다양한 마이크로그리드 아키텍처에서 어떻게 성능을 내는가?
• RQ3 데이터 기반 강화학습 방법인 DT-증강 Q-학습이 마이크로그리드 운영에서 전통적 규칙 기반 제어기보다 얼마나 뛰어나게 성능을 내는가?
• RQ4 완벽한 예측을 가진 최적에 가까운 MPC와 실세계 마이크로그리드 시나리오에서의 실용적인 RL 기반 제어기 사이의 성능 격차는 어느 정도인가?
• RQ5 통합된 시뮬레이션 플랫폼이 차세대 확장 가능한 마이크로그리드 제어 알고리즘의 개발과 벤치마킹을 어떻게 지원할 수 있는가?

주요 결과

• 완벽한 예측을 가진 모델 예측 제어(MPC)는 거의 최적의 성능을 달성하여 제어기 성능의 강력한 상한선으로 기능한다.
• 규칙 기반 제어(RBC)는 하한선으로 기능하며, pymgrid25 데이터셋 전반에서 DT-증강 Q-학습보다 평균 비용이 약 44% 높게 나타났다.
• DT-증강 Q-학습은 대부분의 경우 RBC를 능가하지만, 특히 복잡한 극한 케이스 처리 능력에서 유의미한 성능 향상을 보였으며, MPC에 비해 아직도 뒤처지는 것으로 나타났다.
• 특히 전력망만 또는 전력망과 발전기가 있는 6개의 마이크로그리드에서는 RBC가 DT-증강 Q-학습보다 우수한 성능을 보였으며, 이는 이산 행동 공간 학습의 한계를 시사한다.
• MPC와 최고의 RL 방법(DT-증강 Q-학습) 사이의 성능 격차는 상당히 크며, 평균 비용에서 13%의 격차는 메가와트 단위의 시스템 기준 연간 운영 비용 약 4000만 달러의 추가 비용으로 이어진다.
• 결과적으로, 강화학습 기반 제어기의 향상이 매우 중요하며, 효율성 향상의 소수점 단위의 증가라도 스케일에 따라 막대한 비용 절감과 온실가스 배출 감소 효과를 낳을 수 있음을 시사한다.