[論文レビュー] Flexible development and evaluation of machine-learning-supported optimal control and estimation methods via HILO-MPC

Johannes Pohlodek, Bruno Morabito+3 more|arXiv (Cornell University)|Mar 25, 2022

Advanced Control Systems Optimization被引用数 10

ひとこと要約

本論文では、機械学習とモデルベース最適制御・推定をシームレスに統合できるオープンソースのPythonツールボックス、HILO-MPCを紹介する。PyTorch、TensorFlow、およびカスタムのガウス過程学習を活用することで、機械学習強化型MPCおよび推定問題の柔軟で効率的かつモジュラーな実装を可能にし、軌道追従から移動履歴推定まで多様な応用をカバー。線形系向けの埋め込みコード生成もサポートする。

ABSTRACT

Model-based optimization approaches for monitoring and control, such as model predictive control and optimal state and parameter estimation, have been used for decades in many engineering applications. Models describing the dynamics, constraints, and desired performance criteria are fundamental to model-based approaches. Thanks to recent technological advancements in digitalization, machine learning methods such as deep learning, and computing power, there has been an increasing interest in using machine learning methods alongside model-based approaches for control and estimation. The number of new methods and theoretical findings using machine learning for model-based control and optimization is increasing rapidly. This paper outlines the basic ideas and principles behind an easy-to-use Python toolbox that allows to quickly and efficiently solve machine-learning-supported optimization, model predictive control, and estimation problems. The toolbox leverages state-of-the-art machine learning libraries to train components used to define the problem. It allows to efficiently solve the resulting optimization problems. Machine learning can be used for a broad spectrum of tasks, ranging from model predictive control for stabilization, setpoint tracking, path following, and trajectory tracking to moving horizon estimation and Kalman filtering. For linear systems, it enables quick code generation for embedded MPC applications. HILO-MPC is flexible and adaptable, making it especially suitable for research and fundamental development tasks. Due to its simplicity and numerous already implemented examples, it is also a powerful teaching tool. The usability is underlined, presenting a series of application examples.

研究の動機と目的

• 機械学習拡張型最適制御および推定手法の開発と評価に向けた柔軟でオープンソースのツールの不足に対処すること。
• トレーニング済みの機械学習モデル（ニューラルネットワーク、ガウス過程）を最適化ベースの制御および推定フレームワークにシームレスに統合すること。
• ハイブリッドモデル-学習動的システムを用いたモデル予測制御、移動履歴推定、カルマンフィルタリングにおける迅速なプロトタイピングと研究を可能にすること。
• 研究および教育的応用の両方を想定したモジュラーで拡張可能で使いやすいインターフェースを提供すること。
• 特に線形系において、埋め込みMPCアプリケーションのための効率的なコード生成を促進すること。

提案手法

• 機械学習コンponentを含む最適制御および推定問題を定義するためのハイレベルなPythonインターフェースを採用する。
• システムの動的特性、制約、またはコスト関数に用いられる深層ニューラルネットワークのトレーニングに、PyTorchおよびTensorFlowと統合する。
• システムの動的特性や不確実性をモデル化するための、自社開発のガウス過程トレーニングコードを採用する。
• 問題定式化への直接統合により、トレーニング済みのMLモデルを最適化問題内で使用可能にする。
• MPCによる安定化、スイープポイント追従、パスフォローリングなど、多様な制御および推定タスクをサポートする。
• 特に線形系向けに、埋め込みMPCアプリケーションのための自動コード生成を提供し、リアルタイム実装性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 どのようにして機械学習モデルをモデルベース最適制御および推定フレームワークに効率的かつ柔軟に統合できるか？
• RQ2 学習された動的特性（例：ニューラルネットワーク、ガウス過程）がMPCおよび推定アルゴリズムの性能と安定性に与える影響は何か？
• RQ3 統一的でオープンソースのツールボックスは、多様な応用分野におけるハイブリッドモデル-学習制御戦略の開発と評価をどのように簡素化できるか？
• RQ4 特に線形系向けの埋め込みコード生成により、ツールボックスはリアルタイムデプロイメントをどの程度サポートできるか？
• RQ5 HILO-MPCのモularityおよび使いやすさは、制御系分野における研究および教育的応用をどの程度促進するか？

主な発見

• HILO-MPCは、モジュラーでハイレベルなPythonインターフェースを備えることで、機械学習強化型最適制御および推定手法の迅速なプロトタイピングと評価を可能にする。
• ツールボックスは、トレーニング済みのニューラルネットワークおよびガウス過程をMPCおよび推定問題に成功裏に統合し、軌道追従や移動履歴推定を含む多様な応用をサポートする。
• 線形系では、埋め込みMPC用のC/C++コードを自動生成可能であり、リソース制限のあるプラットフォームへのリアルタイムデプロイメントを可能にする。
• フレームワークは使いやすさと拡張性に優れ、多数の事前実装済み例が提供されており、研究および教育分野への導入を容易にする。
• 確立された機械学習ライブラリおよび最適化ソルバを活用することで、開発の負担を低減し、エラーを引き起こしやすいアドホックな実装を最小限に抑える。
• 数々の応用例を通じた検証により、非線形および制約付きシステムを含む、さまざまな制御および推定タスクにおける柔軟性が実証された。