[論文レビュー] ModelicaGym

Oleh Lukianykhin, Tetiana Bogodorova|arXiv (Cornell University)|Nov 5, 2019

Modeling and Simulation Systems参考文献 7被引用数 5

ひとこと要約

ModelicaGymは、Modelicaベースの動的システムモデルをOpenAI Gymと統合することで、最適制御および最適化タスクにおける強化学習（RL）を可能にするツールボックスです。FMIを活用してモデル交換を実現し、Q学習をサポートすることで、効率的なRLアルゴリズムの開発と比較が可能となり、パラメータ感度分析を伴ってカート・ポールバランスタスクで検証されています。

ABSTRACT

This paper presents ModelicaGym toolbox that was developed to employ Reinforcement Learning (RL) for solving optimization and control tasks in Modelica models. The developed tool allows connecting models using Functional Mock-up Interface (FMI) to OpenAI Gym toolkit in order to exploit Modelica equation-based modeling and co-simulation together with RL algorithms as a functionality of the tools correspondingly. Thus, ModelicaGym facilitates fast and convenient development of RL algorithms and their comparison when solving optimal control problem for Modelica dynamic models. Inheritance structure of ModelicaGym toolbox's classes and the implemented methods are discussed in details. The toolbox functionality validation is performed on Cart-Pole balancing problem. This includes physical system model description and its integration using the toolbox, experiments on selection and influence of the model parameters (i.e. force magnitude, Cart-pole mass ratio, reward ratio, and simulation time step) on the learning process of Q-learning algorithm supported with the discussion of the simulation results.

研究の動機と目的

• Modelicaの式ベースモデリングとOpenAI Gymを介した強化学習を統合すること。
• 動的システムモデル上でRLアルゴリズムの迅速なプロトタイピングと比較を可能にすること。
• RLを用いた複雑な物理システムにおける最適化および制御タスクを支援すること。
• ベンチマークとしてのカート・ポールバランス問題におけるツールボックスの検証。
• 主なモデルおよびRLパラメータが学習パフォーマンスに与える影響を分析すること。

提案手法

• ツールボックスは、ModelicaモデルとOpenAI Gym環境を接続するために関数的モックアップインターフェース（FMI）を使用する。
• Modelicaモデルの状態と行動をRL互換の観測と報酬に変換する、Gym互換の環境ラッパーを実装する。
• 政策学習の主なRLアルゴリズムとしてQ学習をサポートする。
• モデルの動的特性（例：力の大きさ、質量比）およびRLハイパーパrameter（例：報酬比、時間刻み）のチューニングを可能にする。
• ModelicaGymのクラスの継承構造は、新しいモデルやアルゴリズムの拡張性およびモジュラー統合を目的として設計されている。
• 統合パイプラインにより、RL学習ループ内でのModelicaモデルの共同シミュレーションが可能である。

実験結果

リサーチクエスチョン

• RQ1 ModelicaGymは、Modelicaベースの動的システムにおけるRLトレーニングをどの程度効果的に可能にできるか？
• RQ2 カート・ポールタスクにおけるQ学習の収束に力の大きさがどのように影響するか？
• RQ3 カート・ポールの質量比とシミュレーション時間刻みは、学習の安定性およびパフォーマンスにどのように影響するか？
• RQ4 報酬比は学習プロセスおよび最終的な方策品質にどのように影響するか？
• RQ5 このツールボックスは、物理システムにおけるRLの系統的パラメータ感度分析をどの程度サポートできるか？

主な発見

• ModelicaGymは、FMIおよびOpenAI Gymの統合により、ModelicaモデルにおけるエンドツーエンドのRLトレーニングを成功裏に実現した。
• 力の大きさは学習速度および収束に顕著な影響を及ぼし、最適な値が学習効率を向上させる。
• カート・ポールの質量比は制御の難易度に影響を与え、高い比では安定化により多くのトレーニングステップを要する。
• シミュレーション時間刻みは学習の安定性に顕著な影響を及ぼし、より小さな刻み幅は一般的に信頼性の高い学習をもたらす。
• 報酬比は学習信号の形状を決定づける重要な要因であり、不適切な設定は劣悪または不安定な方策を引き起こす。
• このツールボックスは、パラメータ効果の系統的探索を可能にし、比較的RL研究における実用性を示している。