[论文解读] ModelicaGym

Oleh Lukianykhin, Tetiana Bogodorova|arXiv (Cornell University)|Nov 5, 2019

Modeling and Simulation Systems参考文献 7被引用 5

一句话总结

ModelicaGym 是一个工具箱，将基于 Modelica 的动态系统模型与 OpenAI Gym 集成，以实现最优控制和优化任务的强化学习（RL）。通过利用 FMI 进行模型交换，并支持 Q-learning，该工具箱可实现高效的 RL 算法开发与比较，已在小车-摆杆平衡任务上通过参数敏感性分析得到验证。

ABSTRACT

This paper presents ModelicaGym toolbox that was developed to employ Reinforcement Learning (RL) for solving optimization and control tasks in Modelica models. The developed tool allows connecting models using Functional Mock-up Interface (FMI) to OpenAI Gym toolkit in order to exploit Modelica equation-based modeling and co-simulation together with RL algorithms as a functionality of the tools correspondingly. Thus, ModelicaGym facilitates fast and convenient development of RL algorithms and their comparison when solving optimal control problem for Modelica dynamic models. Inheritance structure of ModelicaGym toolbox's classes and the implemented methods are discussed in details. The toolbox functionality validation is performed on Cart-Pole balancing problem. This includes physical system model description and its integration using the toolbox, experiments on selection and influence of the model parameters (i.e. force magnitude, Cart-pole mass ratio, reward ratio, and simulation time step) on the learning process of Q-learning algorithm supported with the discussion of the simulation results.

研究动机与目标

• 将 Modelica 的方程建模方法与通过 OpenAI Gym 实现的强化学习相连接。
• 在动态系统模型上实现 RL 算法的快速原型设计与比较。
• 利用 RL 支持复杂物理系统中的优化与控制任务。
• 在基准的小车-摆杆平衡问题上验证该工具箱。
• 分析关键模型参数与 RL 超参数对学习性能的影响。

提出的方法

• 该工具箱使用功能仿真接口（FMI）将 Modelica 模型与 OpenAI Gym 环境连接。
• 它实现了与 Gym 兼容的环境包装器，将 Modelica 模型的状态和动作转换为 RL 兼容的观测值和奖励值。
• 系统以 Q-learning 作为主要的 RL 算法，用于策略学习。
• 它支持对模型动力学参数（如作用力大小、质量比）和 RL 超参数（如奖励比例、时间步长）的调优。
• ModelicaGym 类的继承结构设计用于可扩展性，并支持新模型与新算法的模块化集成。
• 集成流程允许在 RL 训练循环中对 Modelica 模型进行联合仿真。

实验结果

研究问题

• RQ1 ModelicaGym 在基于 Modelica 的动态系统上实现 RL 训练的效率如何？
• RQ2 作用力大小对小车-摆杆任务中 Q-learning 收敛性有何影响？
• RQ3 小车-摆杆的质量比与仿真时间步长如何影响学习的稳定性和性能？
• RQ4 奖励比例如何影响学习过程与最终策略的质量？
• RQ5 该工具箱在物理系统 RL 中支持系统性参数敏感性分析的程度如何？

主要发现

• ModelicaGym 通过 FMI 与 OpenAI Gym 的集成，成功实现了基于 Modelica 模型的端到端 RL 训练。
• 作用力大小显著影响学习速度与收敛性，最优值可提升训练效率。
• 小车-摆杆的质量比影响控制难度，质量比越高，稳定所需训练步数越多。
• 仿真时间步长对学习稳定性有显著影响，较小的时间步长通常能带来更可靠的训练结果。
• 奖励比例在塑造学习信号方面起着关键作用，设置不当会导致次优或不稳定的策略。
• 该工具箱支持对参数影响的系统性探索，充分展示了其在对比性 RL 研究中的实用性。