[論文レビュー] Differentiable Predictive Control: An MPC Alternative for Unknown Nonlinear Systems using Constrained Deep Learning.
本稿では、既知の力学モデルを必要とせず、システムの時系列データからエンド・トゥ・エンドに最適な制御方策を学習するデータ駆動型制御手法である微分可能予測制御（DPC）を提案する。学習された力学モデルを微分可能にし、罰則法を用いて制約を強制することで、従来の明示的MPCやPI制御に比べ、優れた追従性能と計算効率を達成しており、従来の明示的MPCとは異なり、指数的スケーリングではなく線形スケーリングを示す。
We present an alternative to model predictive control (MPC) for unknown nonlinear systems in low-resource embedded device settings. The structure of the presented data-driven control policy learning method, Differentiable Predictive Control (DPC), echos the structure of classical MPC, by i) using a prediction model capturing controlled system dynamics, ii) receding horizon optimal control action predictions, and iii) enforcing inequality constraints via penalty methods. However, contrary to MPC, the presented control architecture does not require the system dynamics model to synthesize the control policy. Instead, a dynamics model is learned end-to-end from time-series measurements of the system dynamics in the off-policy setup. The control policy is then optimized via gradient descent by differentiating the closed-loop system dynamics model. The proposed architecture allows to train the control policy to track the distribution of reference signals and handle time-varying inequality constraints. We experimentally demonstrate that it is possible to train generalizing constrained optimal control policies purely based on the observations of the dynamics of the unknown nonlinear system. The proposed control method is applied to a laboratory device in embedded implementation using a Raspberry Pi micro-controller. We demonstrate superior reference tracking control performance compared to classical explicit MPC and a baseline PI controller, and pivotal efficiency gains in online computational demands, memory requirements, policy complexity, and construction. Beyond improved control performance, the DPC method scales linearly compared to exponential scalability of the explicit MPC solved via multiparametric programming, hence, opening doors for applications in nonlinear systems with a large number of variables and fast sampling rates which are beyond the reach of classical explicit MPC.
研究の動機と目的
- 未知の非線形システムの制御手法を開発し、明示的なシステムモデルや複雑なオンライン最適化を回避すること。
- Raspberry Piなどの低リソースな埋め込みデバイスでリアルタイム制御を可能にするために、オンライン計算およびメモリ要件を低減すること。
- 多くの変数と高速なサンプリングレートを持つシステムにおいても、性能を維持するスケーラブルな制御方策の学習を実現すること。
- エンド・トゥ・エンドで微分可能な最適化により、時間変動する不等式制約とリファレンス追従を可能にすること。
- システム次元数に伴い指数的増加する従来の明示的MPCとは異なり、線形にスケーリングするMPCの代替手段を提供すること。
提案手法
- DPCは、オフポリシーのシステム動作時系列データから学習された、微分可能でエンド・トゥ・エンドの力学モデルを用いる。
- 制御方策は、閉ループ力学モデルを介してバックプロパゲーションすることで勾配降下法により最適化され、直接的な方策学習が可能になる。
- オンラインQPソルバを必要としないが、古典的MPCと同様にリcedevingホライズンフレームワークを採用して将来の制御入力を予測する。
- 不等式制約は、微分可能な損失関数に統合された罰則法を用いて強制され、ソフトな制約処理が可能になる。
- エンド・トゥ・エンドのトレーニングにより、未観測のリファレンス信号や時間変動する制約への一般化が可能になる。
- アーキテクチャは、メモリフットプリントとオンライン計算を最小限に抑えるように設計されており、埋め込みシステムへのデプロイに適している。
実験結果
リサーチクエスチョン
- RQ1システムの力学モデルに関する事前知識がなくても、システムの観測のみから制御方策を学習可能か？
- RQ2ニューラル力学モデルを介した微分可能学習が、未知の非線形システムにおいて、古典的MPCやPI制御よりも優れた制御性能を達成できるか？
- RQ3明示的MPCが次元数に伴い指数的複雑性を示すのに対し、本手法はシステム次元数に伴い効率的にスケーリング可能か？
- RQ4本手法は、データ駆動型かつエンド・トゥ・エンドでトレーニング可能な形で、時間変動するリファレンス信号と制約を処理できるか？
- RQ5本手法は、オンライン計算オーバーヘッドを最小限に抑えた低リソースな埋め込みプラットフォームにデプロイ可能か？
主な発見
- 実験的評価において、DPCは古典的明示的MPCおよびベースラインPI制御に比べ、優れたリファレンス追従性能を達成した。
- 明示的MPCに比べ、オンライン計算要求、メモリ要件、方策の複雑さにおいて顕著な効率性向上を示した。
- DPCはシステム次元数に対して線形にスケーリングするが、多パラメトリックプログラミングによる明示的MPCは指数的スケーリングを示す。
- 学習された制御方策は、エンド・トゥ・エンドのトレーニングにより、未観測のリファレンス信号に一般化可能であり、時間変動する不等式制約にも適応可能である。
- 本手法はRaspberry Piマイコンに正常にデプロイされ、埋め込み型リアルタイム制御応用への実現可能性が確認された。
- 微分可能な力学学習の使用により、解析的システムモデルを必要とせず、勾配ベースの制御方策最適化が可能になった。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。