[論文レビュー] Constrained Physics-Informed Deep Learning for Stable System Identification and Control of Unknown Linear Systems.

Ján Drgoňa, Aaron Tuor+1 more|arXiv (Cornell University)|Apr 23, 2020

Advanced Control Systems Optimization参考文献 97被引用数 6

ひとこと要約

本稿では、部分的な動的知識と多目的損失関数を用いて、未知の線形系の安定なシステム同定と制御を実現する制約付き物理学に基づく深層学習フレームワークを提案する。本手法は、サンプル効率の向上、不確実性に対するロバストネス、およびシステム同定、ポリシー学習、統合学習タスクにおける安定性保証を達成し、LQR、LQI、MPC手法と比較して追従性、ロバストネス、計算効率の面で優れている。

ABSTRACT

This work has been submitted to the IEEE for possible publication. Copyright may be transferred without notice, after which this version may no longer be accessible. This paper presents a novel data-driven method for learning deep constrained continuous control policies and dynamical models of linear systems. By leveraging partial knowledge of system dynamics and constraint enforcing multi-objective loss functions, the method can learn from small and static datasets, handle time-varying state and input constraints and enforce the stability properties of the controlled system. We use a continuous control design example to demonstrate the performance of the method on three distinct tasks: system identification, control policy learning, and simultaneous system identification and policy learning. We assess the system identification performance by comparing open-loop simulations of the true system and the learned models. We demonstrate the performance of the policy learning methodology in closed-loop simulations using the system model affected by varying levels of parametric and additive uncertainties. We report superior performance in terms of reference tracking, robustness, and online computational and memory footprints compared with classical control approaches, namely LQR and LQI controllers, and with three variants of model predictive control (MPC) formulations and two traditional MPC solution approaches. We then evaluate the potential of simultaneously learning the system model and control policy. Our empirical results demonstrate the effectiveness of our unifying framework for constrained optimal control of linear systems to provide stability guarantees of the learned dynamics, robustness to uncertainty, and high sampling efficiency.

研究の動機と目的

• 完全なシステム知識が得られない状況において、限られた静的データセットからの安定的かつロバストな制御ポリシーおよび動的モデルの学習の課題に対処すること。
• 線形系のための統一的な深層学習フレームワークに、システムの動的制約および時変状態/入力制約を統合すること。
• パrametric不確実性および加法的不確実性の下でも、学習されたシステムモデルおよび制御ポリシーの安定性とロバストネスを保証すること。
• 古典的制御手法やMPC手法と比較して、高いサンプル効率および低い計算・メモリ消費量を達成すること。
• 単一の統合フレームワーク内で、システム同定と制御ポリシー学習を併せて行う可能性と優位性を実証すること。

提案手法

• 訓練中に既知のシステム動的特性、時変制約、安定性特性を強制する多目的損失関数を定式化すること。
• 物理学に基づくニューラルネットワーク（PINNs）と制約付き最適化を統合し、システム動的特性および安定性条件をモデルアーキテクチャに直接埋め込むこと。
• 連続的制御設計を用いて、深層ニューラルネットワークを、統合的なエンドツーエンドフレームワーク内で、システムモデルおよび制御ポリシーの両方として学習させること。
• 損失関数内にラプラス型の制約を埋め込んで安定性を確保し、学習されたシステム動的特性が常に安定したままであるようにすること。
• 損失関数にシステム構造に関する事前知識を組み込むことで、小規模で静的データセットを効果的に活用し、サンプル効率を向上させること。
• 閉ループおよびオープンループ評価を用いて、3つのタスク（システム同定、制御ポリシー学習、および同時システム同定とポリシー学習）に本フレームワークを適用すること。

実験結果

リサーチクエスチョン

• RQ1 物理学に基づく制約付き深層学習フレームワークは、未知の線形系の小規模で静的データセットから安定したシステム同定を達成できるか？
• RQ2 本手法は、古典的制御手法（LQR、LQI）およびMPCの変種と比較して、不確実性下での追従性およびロバストネスにおいてどのように異なるか？
• RQ3 本フレームワークは、安定性と制約満たしを保証しながら、正確なシステムモデルと効果的な制御ポリシーを同時に学習できるか、その程度はいかほどか？
• RQ4 損失関数内に安定性および制約の強制を直接埋め込むことで、モデルの一般化性能および計算効率にどのような影響を与えるか？
• RQ5 システム動的特性におけるパrametric不確実性および加法的不確実性のレベルが変化する条件下でも、本手法はどのように性能を発揮するか？

主な発見

• 提案手法は、高レベルの不確実性下でもLQR、LQI、MPCの定式化と比較して優れた追従性性能を達成している。
• 本フレームワークは、パrametric不確実性および加法的不確実性に対して強くロバストであり、多様なテスト条件下でも安定した閉ループ動作を維持している。
• 従来のMPCアプローチと比較して、オンライン計算およびメモリ消費量が著しく低く抑えられており、リアルタイム適用が可能である。
• オープンループシミュレーションを通じて、システム同定性能が検証され、真のシステムと学習モデルとの間で高い一致が確認された。
• システムモデルと制御ポリシーの統合的学習は可能であり、効果的である。フレームワークは、訓練中を通じて安定性および制約満たしを維持している。
• 制約付き多目的損失関数の使用により、高いサンプル効率が達成され、小規模なデータセットからも正確なモデルおよびポリシーの学習が可能になった。