[論文レビュー] ModelicaGym: Applying Reinforcement Learning to Modelica Models

Oleh Lukianykhin, Tetiana Bogodorova|arXiv (Cornell University)|Sep 18, 2019

Modeling and Simulation Systems参考文献 11被引用数 4

ひとこと要約

ModelicaGym は、Modelica モデルを Functional Mock-up Units (FMUs) を介して OpenAI Gym 強化学習 (RL) フレームワークに統合するオープンソースのツールボックスであり、動的システムモデルへのシームレスな RL 応用を可能にする。Q-学習の訓練がカート・ポールのベンチマークで成功裏に実施され、時間刻みや報酬形状の最適化といったハイパーパrameter を用いた有効な制御が実証された。

ABSTRACT

This paper presents ModelicaGym toolbox that was developed to employ Reinforcement Learning (RL) for solving optimization and control tasks in Modelica models. The developed tool allows connecting models using Functional Mock-up Interface (FMI) toOpenAI Gym toolkit in order to exploit Modelica equation-based modelling and co-simulation together with RL algorithms as a functionality of the tools correspondingly. Thus, ModelicaGym facilitates fast and convenient development of RL algorithms and their comparison when solving optimal control problem for Modelicadynamic models. Inheritance structure ofModelicaGymtoolbox's classes and the implemented methods are discussed in details. The toolbox functionality validation is performed on Cart-Pole balancing problem. This includes physical system model description and its integration using the toolbox, experiments on selection and influence of the model parameters (i.e. force magnitude, Cart-pole mass ratio, reward ratio, and simulation time step) on the learning process of Q-learning algorithm supported with the discussion of the simulation results.

研究の動機と目的

• Modelica を用いたシステムモデリングと強化学習 (RL) の間のギャップを埋めるために、Modelica モデルを OpenAI Gym RL 環境に直接統合することを目的とする。
• Modelica FMU と RL フレームワークを接続する汎用的かつ再利用可能なツールの欠如に応じ、ボイラープレートコードを回避し、即座に利用可能な RL 実験を可能にする。
• FMI準拠の FMU を通じて、オープンソースおよびプロプライエタリな Modelica ツール（例：OpenModelica、Dymola）を両方サポートすることで、ツールに依存しないモデルデプロイメントを促進する。
• 標準的な RL ベンチマークとしてのカート・ポールのバランス制御を用いて、ツールボックスの機能性と使いやすさを検証し、再現可能性と性能評価を確保する。
• 将来的な複雑なエンジニアリングシステム（例：電力システム、建物エネルギーモデル）における RL 応用を想定し、モジュラーで拡張可能かつスケーラブルなフレームワークを提供する。

提案手法

• ツールボックスは Functional Mock-up Interface (FMI) 標準を用いて、Modelica モデルを Functional Mock-up Units (FMUs) としてエクスポートし、外部のシミュレーションおよび制御環境との相互運用性を実現する。
• PyFMI を介して FMU をロードおよび実行する Gym 環境ラッパーを実装し、Modelica モデルのダイナミクスを標準的な RL 環境 API（リセット、ステップ、レンダリング）に変換する。
• 力の大きさ、質量比、報酬形状（正/負の報酬）、シミュレーション時間刻みなど、設定可能な環境パラメータをサポートする。
• Python で実装されており、OpenAI Gym API を活用することで、RL エージェントとの一貫性のあるインタラクションを実現し、即座に利用可能な RL アルゴリズムのテストを可能にする。
• コシミュレーションおよびモデル交換 FMU モードの両方をサポートしており、コミュニティの要請に応じて将来的なモデル交換モードのサポートも拡張可能である。
• オブジェクト指向アーキテクチャを採用し、明確なクラス継承を実現することで、異なる Modelica を用いた制御問題においてもモジュラーな拡張と再利用が可能である。

実験結果

リサーチクエスチョン

• RQ1 FMI を介して Modelica モデルを OpenAI Gym RL フレームワークに統合できる汎用的かつ再利用可能なツールボックスを構築することは可能か？
• RQ2 力の大きさ、質量比、報酬形状、時間刻みといった重要なモデルおよびトレーニングパラメータが、カート・ポール系における Q-学習エージェントの学習パフォーマンスにどのように影響を与えるか？
• RQ3 シミュレーション時間刻みとトレーニング効率の最適なバランスは何か？ また、カート・ポール環境での安定的かつ効果的な制御を維持するにはどうなるか？
• RQ4 負の報酬の大きさが、RL トレーニングプロセスの収束速度および安定性にどの程度影響を与えるか？
• RQ5 FMI準拠の FMU を通じて、オープンソース（例：OpenModelica）およびプロプライエタリ（例：Dymola）の Modelica ツールを両方サポートできるか？ これにより、工学ワークフロー全体での広範な利用可能性が確保されるか？

主な発見

• ModelicaGym ツールボックスは、Modelica を用いたカート・ポールモデルに対してエンド・ツー・エンドの強化学習を成功裏に実行でき、ハイパーパrameter が適切にチューニングされた場合、Q-学習が安定した制御を達成した。
• シミュレーション時間刻み 0.1 秒が、トレーニングの安定性と実行効率の両面で最良のトレードオフを示し、より小さい（0.01 秒）およびより大きな（0.5 秒または 1 秒）刻みよりも優れた性能を示した。
• 実験の結果、大きな負の報酬の大きさが学習速度とパフォーマンスの向上に顕著に寄与した一方、小さな報酬の大きさでは収束が遅いか、パフォーマンスが劣化する傾向が見られた。
• 時間刻み 0.5 秒または 1 秒でトレーニングした場合、必要なシミュレーション長（4 ステップ）に到達できず、ポールの安定化に必要な制御周波数が不足していることが判明した。
• 異なるパラメータセットにおいても、1 ステップあたりの実行時間がほぼ一定であったため、パフォーマンスのオーバーヘッドは主に FMU 呼び出しの頻度に起因しており、モデルの複雑さとは無関係であることが示された。
• ツールボックスはモジュラリティと拡張性を示し、FMI準拠の FMU を介して、オープンソース（例：OpenModelica）およびプロプライエタリ（例：Dymola）の Modelica ツールの両方と統合可能であることが実証された。