[論文レビュー] Sparse identification of nonlinear dynamics and Koopman operators with Shallow Recurrent Decoder Networks

Ming Gao, J. WILLIAMS+1 more|ArXiv.org|Jan 23, 2025

Model Reduction and Neural Networks被引用数 3

ひとこと要約

SINDy-SHRED は、SHRED ベースのフレームワークで SINDy のような微分方程式を適用することにより、 sparsity のあるセンサーから interpretable な潜在ダイナミクスと座標を共同発見します。Koopman-SHRED は線形潜在ダイナミクスの特別な場合で、堅牢かつサンプル効率の良い時空間モデリングを可能にします。

ABSTRACT

Modeling real-world spatio-temporal data is exceptionally difficult due to inherent high dimensionality, measurement noise, partial observations, and often expensive data collection procedures. In this paper, we present Sparse Identification of Nonlinear Dynamics with SHallow REcurrent Decoder networks (SINDy-SHRED), a method to jointly solve the sensing and model identification problems with simple implementation, efficient computation, and robust performance. SINDy-SHRED uses Gated Recurrent Units to model the temporal sequence of sparse sensor measurements along with a shallow decoder network to reconstruct the full spatio-temporal field from the latent state space. Our algorithm introduces a SINDy-based regularization for which the latent space progressively converges to a SINDy-class functional, provided the projection remains within the set. In restricting SINDy to a linear model, a Koopman-SHRED model is generated. SINDy-SHRED (i) learns a symbolic and interpretable generative model of a parsimonious and low-dimensional latent space for the complex spatio-temporal dynamics, (ii) discovers new physics models even for well-known physical systems, (iii) achieves provably robust convergence with an observed globally convex loss landscape, and (iv) achieves superior accuracy, data efficiency, and training time, all with fewer model parameters. We conduct systematic experimental studies on PDE data such as turbulent flows, real-world sensor measurements for sea surface temperature, and direct video data. The interpretable SINDy and Koopman models of latent state dynamics enable stable and accurate long-term video predictions, outperforming all current baseline deep learning models in accuracy, training time, and data requirements, including Convolutional LSTM, PredRNN, ResNet, and SimVP.

研究の動機と目的

• スパースセンサーからの高次元時空間データをデータ効率良くモデル化する頑健な方法を提供する。
• SHRED フレームワークで潜在座標と支配方程式を共同識別する。
• SINDy 正則化および Koopman 正則化潜在ダイナミクスを通じて、解釈可能な長期予測を可能にする。

提案手法

• 再帰的潜在状態が differentiable な SINDy ユニットを介して SINDy クラスの ODE に従うことを強制して SHRED を拡張する。
• 潜在空間のダイナミクスを多項式やフーリエ項などのライブラリで表現し、l0 風の正則化で疎性を促進する。
• エンコーダを明示的に持たない GRU ベースの潜在空間を使用して頑健性を向上させ、過学習を抑制する。
• さまざまな sparsity の SINDy ユニットのアンサンブルで訓練し、SHRED の軌道を SINDy 生成軌道へ段階的に整合させる。
• ライブラリを線形項のみに制限して Koopman-SHRED の線形潜在ダイナミクスバリアントを提供する。
• ピクセル空間での再構成と潜在空間ダイナミクス正則化・疎性を組み合わせたジョイント損失を実装する。

実験結果

リサーチクエスチョン

• RQ1 Sparse なセンサー観測から、解釈可能な潜在ダイナミクスを発見して高次元時空間場を正確に再構成・予測できるか。
• RQ2 SINDy ベースまたは Koopman ベースの潜在ダイナミクスを適用することで、標準的な深層学習モデルと比べて長期安定性と一般化性能が向上するか。
• RQ3 SHRED と SINDy を組み合わせて、実データおよび合成データセットで潜在座標と支配法則を特定できるか。

主な発見

• SINDy-SHRED は最小限のハイパーパラメータ調整とノートパソコン程度の計算量で頑健な長期予測を実現する。
• 潜在座標と簡潔な支配方程式を識別し、潜在空間での正確な外挿とピクセル空間での再構成の信頼性を実現する。
• Koopman-SHRED は線形潜在ダイナミクスのバリアントを提供し、精度を維持しつつ Koopman 解釈を可能にする。
• データセット全体（合成 PDE、海面水温、大気オゾン、GoPro 流れ動画、振り子動画）において、SINDy-SHRED は安定した長期挙動と、ベースライン（ConvLSTM、PredRNN、ResNet、SimVP）と比べて競争力あるまたは優れた性能を示す。
• SINDy および Koopman の定式化は、明示的な ODE や線形発生器を伴う解釈可能な潜在ダイナミクスを生み出し、外挿と物理的洞察を改善する。