[論文レビュー] Inference of Continuous Linear Systems from Data with Guaranteed Stability

Pawan Goyal, Igor Pontes Duff+1 more|arXiv (Cornell University)|Jan 24, 2023

Model Reduction and Neural Networks被引用数 7

ひとこと要約

本稿では、安定行列パラメータ化と微分推定を回避する積分形式を活用することで、データから連続時間線形力学系を学習するsLSIを提案する。この手法により、学習されたすべてのシステムが本質的に安定することが保証され、類似したデータ適合性を示しながらも長期予測精度で標準的手法を上回る。

ABSTRACT

Machine-learning technologies for learning dynamical systems from data play an important role in engineering design. This research focuses on learning continuous linear models from data. Stability, a key feature of dynamic systems, is especially important in design tasks such as prediction and control. Thus, there is a need to develop methodologies that provide stability guarantees. To that end, we leverage the parameterization of stable matrices proposed in [Gillis/Sharma, Automatica, 2017] to realize the desired models. Furthermore, to avoid the estimation of derivative information to learn continuous systems, we formulate the inference problem in an integral form. We also discuss a few extensions, including those related to control systems. Numerical experiments show that the combination of a stable matrix parameterization and an integral form of differential equations allows us to learn stable systems without requiring derivative information, which can be challenging to obtain in situations with noisy or limited data.

研究の動機と目的

• 信頼性の高い予測や制御に不可欠な安定性を保証する、データ駆動型の連続時間線形力学系の学習手法を開発すること。
• ノイズが多いまたは限られたデータに適合する場合でさえも、標準的手法による不安定なモデルが生じる問題を克服すること。
• ノイズやスパarsityがあるデータ状況で誤差に弱い微分推定を避けること。
• PODを用いた次元削減と組み合わせることで、高次元システムのスケーラブルな学習を可能にすること。
• 固有値制約や行列不等式制約を伴う非凸最適化を回避するため、安定性制約を構築によって強制できることを示すこと。

提案手法

• GillisとSharma（2017）の安定行列のパラメータ化を採用し、学習されたすべてのシステム行列が設計上本質的に安定であることを保証する。
• 微分方程式の積分形としてシステム同定問題を定式化し、ノイズの多いデータからの微分推定の必要性を回避する。
• 同定問題を非制約最小二乗最適化問題として定式化することで、標準的な数値ソルバーを用いて効率的かつスケーラブルに解ける。
• 高次元システムのため、学習の前段階でデータを低次元部分空間に射影するために、適切なPOD（固有直交分解）を統合する。
• トレーニングおよびテスト中に、システムダイナミクスの数値的積分にルンゲ・クッタ法を用いて実装する。
• 適切なパラメータ化により、制御システムへの応用が可能であり、パrametricな変化にも対応できるようにフレームワークを拡張する。

実験結果

リサーチクエスチョン

• RQ1 ノイズの多いデータから連続時間線形力学系を学習する際、後処理の制約に依存せずに安定性を保証できるか？
• RQ2 データがノイズが多いかスパースな状況下で、微分推定を回避するにはどうすればよいか？
• RQ3 行列パラメータ化による安定性の強制は、制約なしの学習に比べて長期予測性能を向上させるか？
• RQ4 提案手法は高次元システムに対してもスケーラブルであり、安定性と精度を維持できるか？
• RQ5 時間領域シミュレーション精度の観点から、安定性保証付き手法は標準的手法と比べてどのように性能を発揮するか？

主な発見

• sLSI手法は、すべての数値的例において固有値が左半平面に位置することを裏付けるように、安定性が保証された連続時間線形力学系を効果的に学習した。
• 標準的手法（LSI）とは対照的に、sLSIはデータ適合性が同等であっても不安定なモデルを回避し、長期予測での失敗を防いだ。
• 輸送フローの例では、sLSIは安定な固有値と正確な速度場のシミュレーションを達成したが、LSIは不安定なダイナミクスを示した。
• バーガース方程式の例では、sLSIはすべての固有値が左半平面に位置し安定を維持したが、LSIは不安定な固有値を有し、発散する振るまいを示した。
• 時間領域シミュレーションでは、sLSIがテスト初期条件においてLSIに比べて相対L2誤差を最大2倍まで改善した。
• 21モードのPOD部分空間への射影後でも、システムエネルギーの99.9％以上を捉えることができ、低次元モデル化におけるロバスト性を示した。