[論文レビュー] Latent Dynamics Networks (LDNets): learning the intrinsic dynamics of spatio-temporal processes

Francesco Regazzoni, Stefano Pagani+3 more|arXiv (Cornell University)|Apr 28, 2023

Time Series Analysis and Forecasting被引用数 5

ひとこと要約

本稿では、高次元の埋め込みや事前定義されたグリッドに依存せずに、時空間系の低次元内在的ダイナミクスを学習するデータ駆動型フレームワークであるLatent Dynamics Networks (LDNets) を提案する。ODE-Nets やLSTMを用いて潜在多様体とダイナミクスを同時に学習することで、10倍少ないパラメータと5倍低い正規化誤差で、困難な非線形問題において最先端の精度を達成する。

ABSTRACT

Predicting the evolution of systems that exhibit spatio-temporal dynamics in response to external stimuli is a key enabling technology fostering scientific innovation. Traditional equations-based approaches leverage first principles to yield predictions through the numerical approximation of high-dimensional systems of differential equations, thus calling for large-scale parallel computing platforms and requiring large computational costs. Data-driven approaches, instead, enable the description of systems evolution in low-dimensional latent spaces, by leveraging dimensionality reduction and deep learning algorithms. We propose a novel architecture, named Latent Dynamics Network (LDNet), which is able to discover low-dimensional intrinsic dynamics of possibly non-Markovian dynamical systems, thus predicting the time evolution of space-dependent fields in response to external inputs. Unlike popular approaches, in which the latent representation of the solution manifold is learned by means of auto-encoders that map a high-dimensional discretization of the system state into itself, LDNets automatically discover a low-dimensional manifold while learning the latent dynamics, without ever operating in the high-dimensional space. Furthermore, LDNets are meshless algorithms that do not reconstruct the output on a predetermined grid of points, but rather at any point of the domain, thus enabling weight-sharing across query-points. These features make LDNets lightweight and easy-to-train, with excellent accuracy and generalization properties, even in time-extrapolation regimes. We validate our method on several test cases and we show that, for a challenging highly-nonlinear problem, LDNets outperform state-of-the-art methods in terms of accuracy (normalized error 5 times smaller), by employing a dramatically smaller number of trainable parameters (more than 10 times fewer).

研究の動機と目的

• 高次元表現に依存せずに、非マルコフ型時空間系の低次元内在的ダイナミクスを発見するデータ駆動型手法を開発すること。
• 計算コストとモデルの複雑さを低減しつつ、複雑で非線形な系に対して正確な時間外挿予測を可能にすること。
• 事前定義された空間グリッドを排除し、重み共有を可能にするメッシュレスで点単位の推論を可能にすること。
• 高次元空間における自己符号化器の再構成を回避することで、潜在多様体とダイナミクスを同時に学習し、一般化性能と学習効率を向上させること。
• ベンチマーク非線形時空間問題において、既存の補間モデル手法よりも精度とパラメータ効率の両面で優れていること。

提案手法

• LDNetsは二段階の訓練プロセスを採用する：まず、システム状態を潜在空間に写像する自己符号化器を訓練するが、推論段階ではこのエンコーダーは破棄される。
• ダイナミクスネットワークは、ODE-Net やLSTMとして実装され、元の高次元データにアクセスせずに、入力の軌道から潜在状態の時間発展を学習する。
• 第三段階では、訓練データにおける再構成誤差を最小化する損失関数を用いて、ダイナミクスネットワークとデコーダーネットワークを同時に最適化することで、エンド・ツー・エンドに訓練される。
• このフレームワークはメッシュレスである：予測はドメイン内の任意のクエリポイントで行われ、空間的位置間で重み共有が可能になり、グリッドベースの離散化を回避する。
• 一般化性能を向上させ、過学習を防ぐために、ダイナミクスおよびデコーダーの重みに正則化が適用される。
• 侵襲的射影技術を回避し、支配方程式の知識を必要としないため、複雑で非線形的な挙動を示す系に対しても適している。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型モデルは、高次元空間での全状態の再構成を伴わずに、時空間系の内在的低次元ダイナミクスを学習できるか？
• RQ2 非線形的かつ非マルコフ型系において、LDNetsの性能は、最先端の手法と比較して精度とパラメータ効率の両面で優れているか？
• RQ3 LDNetsは、学習時間範囲を超えた時間外挿予測領域において、どの程度一般化できるか？
• RQ4 LDNetsのメッシュレスで点単位の予測能力は、グリッドベース手法と比較して一般化性能を向上させるとともに、計算コストを低減できるか？
• RQ5 ダイナミクスとデコーダーのネットワークをエンド・ツー・エンドで微調整することで、さらに予測精度が向上するか？

主な発見

• LDNetsは、極めて非線形な時空間問題において、最先端の手法と比較して正規化誤差が5倍小さい。
• 競合手法と比較して、トレーニング可能なパラメータが10倍以上少ないため、モデルの複雑さが顕著に低減される。
• LDNetsは、長期間予測が必要な時間外挿のシナリオにおいて、特に優れた一般化能力を示す。
• 二段階ベースラインと比較して、エンド・ツー・エンド微調整ステージ（AE/ODE-e2e および AE/LSTM-e2e）がさらに予測精度を向上させる。
• メッシュレスアーキテクチャにより、任意の空間位置で効率的かつ重み共有の可能な推論が可能になり、柔軟性とスケーラビリティが向上する。
• 従来の侵襲的減次モデルおよび非侵襲的データ駆動型補間モデルと比較して、精度とパラメータ効率の両面で優れている。