[논문 리뷰] Towards a Scalable and Flexible Simulation and Testing Environment Toolbox for Intelligent Microgrid Control

Henrik Bode, Stefan Heid외 3명|arXiv (Cornell University)|2020. 05. 11.

Microgrid Control and Optimization참고 문헌 25인용 수 4

한 줄 요약

이 논문은 OpenModelica를 사용한 모델링과 Python 기반의 OpenAI Gym 인터페이스를 통합하여, 강화 학습을 포함한 제어 알고리즘의 플러그 앤 플레이 테스트가 가능한 오픈소스이자 확장 가능한 스케일러블 시뮬레이션 환경인 OpenModelica 마이크로그리드 견본(Gym) (OMG) 툴박스를 소개한다. 주요 기여는 다양한 마이크로그리드 구조와 운영 조건에서 표준화된 평가와 안전한 최적화를 가능하게 하는 유연하고 확장 가능한 플랫폼을 제공한다는 점이다.

ABSTRACT

Micro- and smart grids (MSG) play an important role both for integrating renewable energy sources in conventional electricity grids and for providing power supply in remote areas. Modern MSGs are largely driven by power electronic converters due to their high efficiency and flexibility. Nevertheless, controlling MSGs is a challenging task due to highest requirements on energy availability, safety and voltage quality within a wide range of different MSG topologies. This results in a high demand for comprehensive testing of new control concepts during their development phase and comparisons with the state of the art in order to ensure their feasibility. This applies in particular to data-driven control approaches from the field of reinforcement learning (RL), whose stability and operating behavior can hardly be evaluated a priori. Therefore, the OpenModelica Microgrid Gym (OMG) package, an open-source software toolbox for the simulation and control optimization of MSGs, is proposed. It is capable of modeling and simulating arbitrary MSG topologies and offers a Python-based interface for plug \& play controller testing. In particular, the standardized OpenAI Gym interface allows for easy RL-based controller integration. Besides the presentation of the OMG toolbox, application examples are highlighted including safe Bayesian optimization for low-level controller tuning.

연구 동기 및 목표

• 다양한 마이크로그리드 구조와 운영 조건에서 지능형 마이크로그리드 제어 알고리즘을 테스트하고 비교하기 위한 표준화되고 개방적이며 확장 가능한 플랫폼의 부족을 해결한다.
• 시스템 동역학에 대한 사전 지식 없이도 안전한 제약 조건을 적용하여 저수준 제어기 파라미터(예: PID 이득)의 데이터 기반 최적화를 안전하고 효율적으로 수행할 수 있도록 베이지안 최적화를 활용한다.
• 고정밀 마이크로그리드 모델(OpenModelica를 통해)과 Python으로 구현된 제어 알고리즘 간의 플러그 앤 플레이 인터페이스를 제공하며, 특히 강화 학습에 초점을 맞춘다.
• 하이브리드 교류/직류 마이크로그리드 및 확률적 부하/공급 조건을 포함한 다양한 시스템 구성에서 제어 전략의 종합적 검증을 지원한다.
• 표준화된 오픈소스 시뮬레이션 및 테스트 프레임워크를 제공하여 재현 가능한 벤치마킹과 새로운 제어 접근법의 개발을 촉진한다.

제안 방법

• OpenModelica를 백엔드로 사용하여 전력 전자 변환기, 인버터, 저장장치 및 부하를 포함한 임의의 마이크로그리드 구조를 모델링한다.
• OpenAI Gym 표준을 활용한 Python 기반 인터페이스를 노출하여 제어 알고리즘, 특히 강화 학습 에이전트의 원활한 통합을 가능하게 한다.
• 성능 지표에 대한 안전 제약 조건을 강제하면서도 가우시안 프로세스를 사용한 안전한 베이지안 최적화 프레임워크를 구현하여 PID 제어기 이득(Kp, Ki)을 조정한다.
• 성능 지표(J)를 제어기 이득의 함수로 정의하며, 시스템 불안정성 또는 장치 과부하를 방지하기 위해 안전 기준을 설정한다.
• OpenModelica 모델 내부에서 위상 잠금 루프(PLLs) 및 보조 제어 구성 요소를 적용하여 시뮬레이션 중 정확한 동기화와 안정성을 확보한다.
• 다차원 파라미터 탐색 공간을 적용하여 제어기 조정을 수행하며, 성능 지도와 신뢰도 구간을 시각화하여 최적화를 안내한다.

실험 결과

연구 질문

• RQ1 다양한 마이크로그리드 구조에서 지능형 마이크로그리드 제어 전략을 공정하고 재현 가능한 방식으로 비교할 수 있도록 표준화되고 오픈소스인 시뮬레이션 및 테스트 플랫폼을 개발할 수 있는가?
• RQ2 시스템 동역학에 대한 사전 지식 없이도, 예를 들어 안전한 베이지안 최적화와 같은 데이터 기반 최적화 방법이 저수준 마이크로그리드 제어기 조정 시 안전성을 얼마나 효과적으로 보장할 수 있는가?
• RQ3 PID 제어기의 성능은 다양한 이득 조합에서 얼마나 변화하는가? 이는 가우시안 프로세스를 사용하여 신뢰성 있게 모델링하고 최적화할 수 있는가?
• RQ4 성능 함수에 급격한 변화나 평탄한 영역이 존재할 경우, 표준 가우시안 프로세스 기반의 불확실성 모델링이 마이크로그리드 제어 성능 함수에 적용될 때 어떤 한계를 보이는가?
• RQ5 데이터 기반 제어 최적화에 전문 지식을 통합하면 강화 학습 기반 마이크로그리드 제어에서 안전성 향상과 수렴 속도 향상에 기여할 수 있는가?

주요 결과

• OMG 툴박스는 OpenModelica를 사용하여 임의의 마이크로그리드 구조를 성공적으로 시뮬레이션하고 테스트할 수 있으며, 표준화된 Python 인터페이스를 통해 완전한 상호운용성을 확보한다.
• 가우시안 프로세스를 사용한 안전한 베이지안 최적화에서, 공분산 가정의 불일치로 인해 성능 지도의 평탄한 영역이나 급격한 감소를 신뢰성 있게 예측하지 못해 과도한 확신 또는 제약 조건 위반을 유발할 수 있었다.
• 최적의 PID 제어기 이득은 Kp = 0.0125 V/A 및 Ki = 117.81 V/(A·s)로 도출되었으며, 이는 빠른 전류 응답과 최소한의 오버슈트를 제공했고, 정격 전류 한도 위반 없이 작동하였다.
• 제어기의 성능 함수는 고정된 영역과 급격한 전이 영역을 나타내었으며, 표준 GP 공분산 구조는 이를 정확히 포착하지 못해 최적화의 신뢰성에 제한을 뒀다.
• 성능 기준(Jmin = -1.06)을 적용함에도 불구하고, 급격한 성능 변화를 잘못 모델링하여 GP 기반 최적화가 여전히 안전하지 않은 파라미터 영역을 위험하게 만들 수 있었다.
• 본 연구는 안전한 데이터 기반 마이크로그리드 제어가 여전히 중요한 열린 과제임을 시사하며, 특히 전문 지식 기반 사전 분포 없이 일반적인 불확실성 모델(예: 가우시안 프로세스)에만 의존할 경우 더욱 그렇다.