[논문 리뷰] ModelicaGym

Oleh Lukianykhin, Tetiana Bogodorova|arXiv (Cornell University)|2019. 11. 05.

Modeling and Simulation Systems참고 문헌 7인용 수 5

한 줄 요약

ModelicaGym은 Modelica 기반의 동적 시스템 모델을 OpenAI Gym과 통합하여 최적 제어 및 최적화 작업을 위한 강화학습(RL)을 가능하게 하는 툴박스입니다. FMI를 활용하여 모델 교환을 지원하고 Q-학습을 구현함으로써 효율적인 RL 알고리즘 개발 및 비교가 가능하며, 매개변수 민감도 분 析를 통한 검증을 통해 카트폴 균형 유지 작업에서 성능을 입증하였습니다.

ABSTRACT

This paper presents ModelicaGym toolbox that was developed to employ Reinforcement Learning (RL) for solving optimization and control tasks in Modelica models. The developed tool allows connecting models using Functional Mock-up Interface (FMI) to OpenAI Gym toolkit in order to exploit Modelica equation-based modeling and co-simulation together with RL algorithms as a functionality of the tools correspondingly. Thus, ModelicaGym facilitates fast and convenient development of RL algorithms and their comparison when solving optimal control problem for Modelica dynamic models. Inheritance structure of ModelicaGym toolbox's classes and the implemented methods are discussed in details. The toolbox functionality validation is performed on Cart-Pole balancing problem. This includes physical system model description and its integration using the toolbox, experiments on selection and influence of the model parameters (i.e. force magnitude, Cart-pole mass ratio, reward ratio, and simulation time step) on the learning process of Q-learning algorithm supported with the discussion of the simulation results.

연구 동기 및 목표

• Modelica의 식 기반 모델링을 OpenAI Gym과 연계하여 강화학습과 연결하기 위해.
• 동적 시스템 모델에서 RL 알고리즘의 빠른 프로토타이핑 및 비교를 가능하게 하기 위해.
• 복잡한 물리 시스템에서의 최적화 및 제어 작업을 RL을 통해 지원하기 위해.
• 기본적인 카트폴 균형 유지 문제에서 툴박스의 성능을 검증하기 위해.
• 핵심 모델 및 RL 매개변수의 학습 성능에 미치는 영향을 분석하기 위해.

제안 방법

• 툴박스는 Modelica 모델을 OpenAI Gym 환경과 연동하기 위해 기능 모의 인터페이스(FMI)를 사용합니다.
• Modelica 모델의 상태와 동작을 RL 호환 가능한 관측치와 보상으로 변환하는 Gym 호환 환경 래퍼를 구현합니다.
• 정책 학습을 위한 주요 RL 알고리즘으로 Q-학습을 지원합니다.
• 모델 동역학의 매개변수 조정(예: 힘 크기, 질량 비율)과 RL 초모수 조정(예: 보상 비율, 시간 간격)을 가능하게 합니다.
• ModelicaGym 클래스의 상속 구조는 새로운 모델과 알고리즘의 확장성 및 모듈식 통합을 위해 설계되었습니다.
• 통합 파이프라인은 RL 학습 루프 내에서 Modelica 모델의 공동 시뮬레이션을 허용합니다.

실험 결과

연구 질문

• RQ1 ModelicaGym은 Modelica 기반의 동적 시스템에서 얼마나 효과적으로 RL 학습을 가능하게 할 수 있는가?
• RQ2 카트폴 작업에서 힘 크기가 Q-학습 수렴에 어떤 영향을 미치는가?
• RQ3 카트폴 질량 비율과 시뮬레이션 시간 간격은 학습 안정성과 성능에 어떻게 영향을 미치는가?
• RQ4 보상 비율은 학습 과정과 최종 정책 품질에 어떤 영향을 미치는가?
• RQ5 이 툴박스는 물리 시스템의 RL에 대해 체계적인 매개변수 민감도 분석을 어느 정도 지원할 수 있는가?

주요 결과

• ModelicaGym은 FMI와 OpenAI Gym 통합을 통해 Modelica 모델에서 종단 간 강화학습 학습을 성공적으로 구현하였습니다.
• 힘 크기는 학습 속도와 수렴에 중대한 영향을 미치며, 최적의 값 설정이 학습 효율을 향상시킵니다.
• 카트폴 질량 비율은 제어의 난이도에 영향을 미치며, 높은 비율일수록 안정화하기 위해 더 많은 학습 단계가 필요합니다.
• 시뮬레이션 시간 간격은 학습 안정성에 상당한 영향을 미치며, 더 작은 간격이 일반적으로 더 신뢰할 수 있는 학습을 유도합니다.
• 보상 비율은 학습 신호의 형태를 결정하는 데 핵심적인 역할을 하며, 부적절한 설정은 열악하거나 불안정한 정책을 초래할 수 있습니다.
• 이 툴박스를 통해 매개변수 영향의 체계적 탐색이 가능하여, 비교적 강화학습 연구에 실용적임을 입증하였습니다.