[論文レビュー] Learning Parametric Koopman Decompositions for Prediction and Control

Yue Guo, Milan Korda+2 more|arXiv (Cornell University)|Oct 2, 2023

Model Reduction and Neural Networks被引用数 4

ひとこと要約

本稿では、静的または時間変動するパラメータを有する力学系に対して、ニューラルネットワークを用いて共通の不変部分空間とパラメトリックな射影されたコプマン作用素の族を同時に学習することにより、パrametric Koopman分解を学習ベースで構築する手法を提案する。このアプローチにより、高次元で強い非線形性を示す系においても、高い予測精度とデータ駆動型最適制御が可能となり、従来の手法に比べて予測精度および制御性能の両面で優れている。

ABSTRACT

We present an approach to construct approximate Koopman-type decompositions for dynamical systems depending on static or time-varying parameters. Our method simultaneously constructs an invariant subspace and a parametric family of projected Koopman operators acting on this subspace. We parametrize both the projected Koopman operator family and the dictionary that spans the invariant subspace by neural networks and jointly train them with trajectory data. We show theoretically the validity of our approach, and demonstrate via numerical experiments that it exhibits significant improvements over existing methods in solving prediction problems, especially those with large state or parameter dimensions, and those possessing strongly non-linear dynamics. Moreover, our method enables data-driven solution of optimal control problems involving non-linear dynamics, with interesting implications on controllability.

研究の動機と目的

• 動的ダイナミクスの完全な知識が得られない状況下で、軌道データのみに依存してパrametric力学系をモデル化する課題に対処すること。
• 強い非線形性を示す非-autonomousかつパrameter依存の力学系に、コプマン作用素理論を拡張すること。
• 先行する線形または双線形近似の制限を克服するため、データから不変部分空間とパラメトリックなコプマン作用素の族を同時に学習すること。
• 複雑な非線形ダイナミクスを伴う最適制御問題のデータ駆動型解法を可能にすること。

提案手法

• 不変部分空間を張る辞書と射影されたコプマン作用素の族の両方を、深層ニューラルネットワークを用いてパラメータ化する。
• 軌道データを用いてニューラルネットワークを同時に訓練し、部分空間と作用素近似を共同で最適化する。
• パラメータ空間全体にわたる作用素族の連続性を保証するため、コプマン作用素のためのニューラルネットワークアーキテクチャを採用する。
• ニューラルネットワークの関数近似能力を活用し、非線形なパラメータ依存性を有限次元のコプマン作用素に直接埋め込む。
• コンパクト性および一様連続性の理論的保証を活用し、弱い条件下でも近似の収束を保証する。
• 最後の隠れ層のニューロン数によって行列ランクが制限されるように、$ K(\bm{u}) $ に残差構造を導入し、低ランク近似を可能にする。

Figure 1 : The neural network architecture of PK-NN. The trainable parameters of $K(\bm{u};\bm{\theta}_{K})$ are integrated within the structure of $NN_{K}$ , and a distinct neural network $NN_{\bm{\Psi}}$ is used to parametrize the dictionaries $\bm{\Psi}(\bm{x};\bm{\theta}_{\psi})$ .

実験結果

リサーチクエスチョン

• RQ1 統一的かつデータ駆動型の手法として、非線形かつパrameter依存の力学系に対して、不変部分空間とパラメトリックなコプマン作用素の族を同時に学習可能か？
• RQ2 ニューラルネットワークを用いて、コプマン作用素と辞書を同時に学習する方法は、コプマンダイナミクスの線形構造をどのように保てるか？
• RQ3 提案手法は、高次元または強い非線形性を示す系において、従来手法に比べて予測精度をどの程度向上させるか？
• RQ4 学習されたパラメトリックなコプマンモデルは、非線形系の最適制御に効果的に応用可能か？

主な発見

• 提案手法は、特に状態空間やパラメータ空間の次元が大きい系において、従来手法に比べて顕著な予測精度の向上を達成した。
• 不変部分空間とパラメータ間の複雑な非線形関係が、共同でのニューラルネットワーク学習により的確に捉えられた。
• 数値実験の結果、学習されたパラメトリックコプマン作用素は、非-autonomousかつ非線形系においても長期的な予測を高精度で可能にした。
• 本手法は、非線形系のデータ駆動型最適制御を可能にし、可制御性解析および軌道最適化の分野で改善が確認された。
• 理論的分析により、コプマン作用素族に弱い正則性条件が課されれば、近似誤差を任意に小さくできることが確認された。
• コプマン作用素行列のランクは、ニューラルネットワークの最終隠れ層のニューロン数によって制限されており、低ランクかつ効率的な表現が可能となった。

Figure 2 : Comparison on different $(\nu_{1},\nu_{2})$ with $\nu_{1}\nu_{2}=10000$ . The topmost panel displays the prediction results for PK-NN and M1 on both training and testing data. The horizontal axis represents the values of $(\nu_{1},\nu_{2})$ . In the bottom panels, we provide a detailed er