[논문 리뷰] ModelicaGym: Applying Reinforcement Learning to Modelica Models

Oleh Lukianykhin, Tetiana Bogodorova|arXiv (Cornell University)|2019. 09. 18.

Modeling and Simulation Systems참고 문헌 11인용 수 4

한 줄 요약

ModelicaGym은 Modelica 모델을 기능적 모의 단위(FMU)를 통해 오픈소스 도구상자로 제공하며, 오픈AI Gym 강화학습(RL) 프레임워크에 통합함으로써 동적 시스템 모델에 대한 원활한 RL 적용을 가능하게 한다. 이는 Q-학습을 이용한 카트폴 기준 테스트에서 최적화된 초기 조건(예: 시간 간격 및 보상 형상화)을 통해 효과적인 제어를 실현하였다.

ABSTRACT

This paper presents ModelicaGym toolbox that was developed to employ Reinforcement Learning (RL) for solving optimization and control tasks in Modelica models. The developed tool allows connecting models using Functional Mock-up Interface (FMI) toOpenAI Gym toolkit in order to exploit Modelica equation-based modelling and co-simulation together with RL algorithms as a functionality of the tools correspondingly. Thus, ModelicaGym facilitates fast and convenient development of RL algorithms and their comparison when solving optimal control problem for Modelicadynamic models. Inheritance structure ofModelicaGymtoolbox's classes and the implemented methods are discussed in details. The toolbox functionality validation is performed on Cart-Pole balancing problem. This includes physical system model description and its integration using the toolbox, experiments on selection and influence of the model parameters (i.e. force magnitude, Cart-pole mass ratio, reward ratio, and simulation time step) on the learning process of Q-learning algorithm supported with the discussion of the simulation results.

연구 동기 및 목표

• Modelica 기반의 시스템 모델링과 강화학습(RL) 간 격차를 해소하기 위해 Modelica 모델을 오픈AI Gym RL 환경에 직접 통합함으로써 목표를 달성한다.
• Modelica FMU와 RL 프레임워크를 연결하기 위한 일반화되고 재사용 가능한 도구의 부족 문제를 해결하여 반복 코드를 방지하고 즉시 사용 가능한 RL 실험을 가능하게 한다.
• FMI 준수 FMU를 통해 오픈소스 및 전문 소프트웨어(Modelica 도구, 예: OpenModelica, Dymola)를 모두 지원함으로써 도구에 종속되지 않는 모델 배포를 강화한다.
• 표준 RL 벤치마크인 카트폴 균형 제어를 통해 도구의 기능성과 사용성을 검증함으로써 재현 가능성과 성능 평가를 확보한다.
• 향후 복잡한 공학 시스템(예: 전력 시스템 또는 건물 에너지 모델)에 대한 RL 응용을 위한 모듈식, 확장 가능하고 스케일러블한 프레임워크를 제공한다.

제안 방법

• 이 도구는 기능적 모의 인터페이스(FMI) 표준을 사용하여 Modelica 모델을 기능적 모의 단위(FMU)로 내보내어 외부 시뮬레이션 및 제어 환경과의 상호운용성을 확보한다.
• PyFMI를 통해 FMU를 로드하고 실행하는 Gym 환경 래퍼를 구현하여 Modelica 모델의 동역학을 표준 RL 환경 API(초기화, 단계, 렌더링)로 변환한다.
• 힘의 크기, 질량 비율, 보상 형상화(긍정/부정 보상), 시뮬레이션 시간 간격과 같은 구성 가능한 환경 매개변수를 지원한다.
• 도구는 파이썬으로 구현되어 오픈AI Gym API를 활용하여 일관된 RL 에이전트 상호작용을 보장하며, 다양한 RL 알고리즘의 즉시 사용 가능한 테스트를 가능하게 한다.
• 공시뮬레이션 및 모델 교환 FMU 모드를 모두 지원하며, 커뮤니티 수요에 따라 향후 모델 교환 모드 지원도 확장 가능하다.
• 객체지향 아키텍처를 채택하여 명확한 클래스 상속을 제공함으로써 다양한 Modelica 기반 제어 문제에 대한 모듈식 확장과 재사용을 가능하게 한다.

실험 결과

연구 질문

• RQ1 FMI를 통해 오픈AI Gym RL 프레임워크에 Modelica 모델을 통합할 수 있는 일반적이고 재사용 가능한 도구를 개발할 수 있는가?
• RQ2 힘의 크기, 질량 비율, 보상 형상화, 시간 간격과 같은 핵심 모델 및 학습 매개변수는 카트폴 시스템에서 Q-학습 에이전트의 학습 성능에 어떻게 영향을 미치는가?
• RQ3 시뮬레이션 시간 간격과 학습 효율성 사이의 최적의 균형은 무엇이며, 카트폴 환경에서 안정적이고 효과적인 제어를 유지하는 데에 어떤 영향을 미치는가?
• RQ4 부정 보상의 크기가 RL 학습 과정의 수렴 속도와 안정성에 얼마나 큰 영향을 미치는가?
• RQ5 표준화된 FMU를 통해 오픈소스 및 전문 소프트웨어(Modelica 도구)를 모두 지원할 수 있는가? 이는 다양한 엔지니어링 워크플로우에서 넓은 사용성을 보장하는가?

주요 결과

• ModelicaGym 도구는 Modelica 기반의 카트폴 모델에서 엔드 투 엔드 강화학습을 성공적으로 수행하였으며, 초기 조건을 적절히 조정한 경우 Q-학습이 안정적인 제어를 달성하였다.
• 시뮬레이션 시간 간격 0.1초가 학습 안정성과 실행 효율성 사이의 최적의 균형을 제공하는 것으로 확인되었으며, 더 작은(0.01초) 또는 더 큰(0.5초 또는 1초) 간격보다 뛰어난 성능을 보였다.
• 실험 결과, 더 큰 부정 보상의 크기는 학습 속도와 성능을 크게 향상시켰고, 작은 크기의 보상은 느린 수렴 또는 성능 저하를 초래하였다.
• 시간 간격 0.5초 또는 1초로 학습을 수행한 경우 요구되는 시뮬레이션 길이(4단계)를 충족하지 못해, 막대를 안정화시키기 위한 제어 주파수가 부족한 것으로 나타났다.
• 다양한 매개변수 조합에서도 시뮬레이션 단계당 실행 시간이 거의 일정하게 유지되어, 성능 오버헤드의 주요 원인이 모델 복잡성보다는 FMU 호출 빈도에 있음을 시사하였다.
• 도구는 모듈성과 확장성을 입증하였으며, FMI 준수 FMU를 통해 오픈소스(예: OpenModelica) 및 전문 소프트웨어(예: Dymola) Modelica 도구와의 통합을 지원하였다.