[论文解读] ModelicaGym: Applying Reinforcement Learning to Modelica Models

Oleh Lukianykhin, Tetiana Bogodorova|arXiv (Cornell University)|Sep 18, 2019

Modeling and Simulation Systems参考文献 11被引用 4

一句话总结

ModelicaGym 是一个开源工具箱，通过功能模拟单元（FMUs）将 Modelica 模型集成到 OpenAI Gym 强化学习（RL）框架中，实现了动态系统模型与强化学习的无缝应用。该工具箱成功实现了在 Cart-Pole 基准任务上的 Q-learning 训练，通过优化时间步长和奖励塑造等超参数，展示了有效的控制性能。

ABSTRACT

This paper presents ModelicaGym toolbox that was developed to employ Reinforcement Learning (RL) for solving optimization and control tasks in Modelica models. The developed tool allows connecting models using Functional Mock-up Interface (FMI) toOpenAI Gym toolkit in order to exploit Modelica equation-based modelling and co-simulation together with RL algorithms as a functionality of the tools correspondingly. Thus, ModelicaGym facilitates fast and convenient development of RL algorithms and their comparison when solving optimal control problem for Modelicadynamic models. Inheritance structure ofModelicaGymtoolbox's classes and the implemented methods are discussed in details. The toolbox functionality validation is performed on Cart-Pole balancing problem. This includes physical system model description and its integration using the toolbox, experiments on selection and influence of the model parameters (i.e. force magnitude, Cart-pole mass ratio, reward ratio, and simulation time step) on the learning process of Q-learning algorithm supported with the discussion of the simulation results.

研究动机与目标

• 通过将 Modelica 模型直接集成到 OpenAI Gym 强化学习环境中，弥合基于 Modelica 的系统建模与强化学习之间的差距。
• 解决缺乏通用、可重用工具来连接 Modelica FMU 与强化学习框架的问题，避免重复代码，实现即插即用的强化学习实验。
• 通过符合 FMI 标准的 FMU 支持开源和专有 Modelica 工具（如 OpenModelica、Dymola），提升模型部署的工具无关性。
• 在标准强化学习基准任务——Cart-Pole 平衡控制上验证工具箱的功能性和可用性，确保可复现性与性能评估。
• 为未来在复杂工程系统（如电力系统或建筑能效模型）中的强化学习应用，提供模块化、可扩展且可伸缩的框架。

提出的方法

• 该工具箱使用功能模拟接口（FMI）标准将 Modelica 模型导出为功能模拟单元（FMU），实现与外部仿真和控制环境的互操作性。
• 通过实现 Gym 环境包装器，接口 PyFMI 加载并执行 FMU，将 Modelica 模型的动力学行为转换为标准强化学习环境 API（reset、step、render）。
• 系统支持可配置的环境参数，如作用力大小、质量比、奖励塑造（正/负奖励）以及仿真时间步长。
• 该工具箱使用 Python 实现，利用 OpenAI Gym API 确保强化学习智能体交互的一致性，并支持即插即用的强化学习算法测试。
• 支持共仿真和模型交换两种 FMU 模式，未来可根据社区需求扩展对模型交换模式的支持。
• 架构采用面向对象设计，具有清晰的类继承关系，支持在不同基于 Modelica 的控制问题中实现模块化扩展与复用。

实验结果

研究问题

• RQ1 能否开发一个通用、可重用的工具箱，通过 FMI 将 Modelica 模型集成到 OpenAI Gym 强化学习框架中？
• RQ2 关键模型和训练参数（如作用力大小、质量比、奖励塑造和时间步长）如何影响 Q-learning 智能体在 Cart-Pole 系统上的学习性能？
• RQ3 在保持 Cart-Pole 环境中稳定有效控制的前提下，仿真时间步长与训练效率之间应如何实现最优平衡？
• RQ4 负奖励的大小在多大程度上影响强化学习训练过程的收敛速度与稳定性？
• RQ5 该工具箱能否通过标准化的 FMU 支持开源和专有 Modelica 工具，确保在各类工程工作流程中的广泛可用性？

主要发现

• ModelicaGym 工具箱成功实现了基于 Modelica 的 Cart-Pole 模型的端到端强化学习，当超参数合理调优时，Q-learning 能实现稳定控制。
• 仿真时间步长为 0.1 秒时，在训练稳定性和执行效率之间实现了最佳平衡，优于更小（0.01 秒）和更大（0.5 秒或 1 秒）的时间步长。
• 实验表明，较大的负奖励幅度显著提升了学习速度和性能，而较小的幅度则导致收敛缓慢或性能下降。
• 使用 0.5 秒或 1 秒时间步长的训练未能达到所需的仿真长度（四步），表明控制频率不足，无法稳定控制摆杆。
• 不同参数设置下的每步仿真执行时间基本保持恒定，表明性能开销主要源于 FMU 调用频率，而非模型复杂度。
• 该工具箱展示了良好的模块化与可扩展性，通过符合 FMI 标准的 FMU 支持了基于开源（如 OpenModelica）和专有（如 Dymola） Modelica 工具的集成。