[論文レビュー] Physics-Informed Long Short-Term Memory for Forecasting and Reconstruction of Chaos

Elise Özalp, Georgios Margazoglou+1 more|arXiv (Cornell University)|Feb 3, 2023

Neural Networks and Applications参考文献 13被引用数 4

ひとこと要約

本稿では、支配的微分方程式をLSTMの学習に統合することで、カオス的システムにおける測定されていない変数の再構築と予測を可能にする物理則に基づく長短期記憶ネットワーク（PI-LSTM）を提案する。物理則に基づく損失関数により、システムの力学的挙動からの逸脱をペナルティ化することで、PI-LSTMは長期統計およびリャプノフ指数——カオスの主要な指標——を正確に捉える。これは、観測が限られている場合に特に顕著にカオス的挙動を再現できないデータ駆動型LSTMとは対照的である。

ABSTRACT

We present the Physics-Informed Long Short-Term Memory (PI-LSTM) network to reconstruct and predict the evolution of unmeasured variables in a chaotic system. The training is constrained by a regularization term, which penalizes solutions that violate the system's governing equations. The network is showcased on the Lorenz-96 model, a prototypical chaotic dynamical system, for a varying number of variables to reconstruct. First, we show the PI-LSTM architecture and explain how to constrain the differential equations, which is a non-trivial task in LSTMs. Second, the PI-LSTM is numerically evaluated in the long-term autonomous evolution to study its ergodic properties. We show that it correctly predicts the statistics of the unmeasured variables, which cannot be achieved without the physical constraint. Third, we compute the Lyapunov exponents of the network to infer the key stability properties of the chaotic system. For reconstruction purposes, adding the physics-informed loss qualitatively enhances the dynamical behaviour of the network, compared to a data-driven only training. This is quantified by the agreement of the Lyapunov exponents. This work opens up new opportunities for state reconstruction and learning of the dynamics of nonlinear systems.

研究の動機と目的

• 測定されていない変数の再構築の課題に、部分的な状態観測しか得られない状況で対処すること。
• 物理法則を学習プロセスに埋め込むことで、再帰的ニューラルネットワークの長期的予測および動的整合性を向上させること。
• 物理則に基づく正則化が、正のリャプノフ指数やエルゴード的統計といったカオス的性質の基本的特性を保持できるかどうかを評価すること。
• データが不完全または疎である場合に、物理則に基づく制約がカオス的ダイナミクスを捉えるために不可欠であることを実証すること。

提案手法

• PI-LSTMアーキテクチャは、標準的なLSTMに、システムの支配的微分方程式に違反する予測をペナルティ化する物理則に基づく損失項を追加することで拡張される。
• バックプロパゲーション・スル・タイムを用いて、隠れ状態およびセル状態の一次微分を計算し、システムの力学的挙動と整合性を保つ。
• 物理則に基づく損失は、ハイパーパrameter α_pi によって重み付けされ、学習中にデータ適合性と物理的整合性のバランスをとる。
• 本手法は、正のリャプノフ指数が3つある代表的なカオス的システム、Lorenz-96モデルを対象とし、測定されていない変数の数を変化させた条件下で評価される。
• 統計的整合性およびダイナミクス的挙動を評価するために、最大1000のリャプノフ時間にわたる長期的自律シミュレーションが用いられる。
• 訓練済みPI-LSTMからリャプノフ指数を計算し、真のシステムからの基準値と比較することで、カオス的ダイナミクスの保存が検証される。

Figure 3 : Statistics reconstruction of unmeasured variables. Comparison of the target (black line), PI-LSTM (red dashed line) and data-driven LSTM (blue line) probability density functions (PDF) of (i) $N_{\xi}=1$ , (ii) $N_{\xi}=3$ , (iii) $N_{\xi}=5$ unmeasured variables over a $1000\tau_{\lambda

実験結果

リサーチクエスチョン

• RQ1 物理則に基づくLSTMは、部分的観測からのみでカオス的システムの全状態を再構築可能であり、その内在的ダイナミクス的性質を保持できるか？
• RQ2 物理則に基づく正則化を組み込むことで、純粋にデータ駆動型のアプローチと比較してLSTMの長期的統計的挙動にどのような影響を与えるか？
• RQ3 観測対象が変数のサブセットである場合に、PI-LSTMはカオス的システムのリャプノフ指数をどの程度正確に再現できるか？
• RQ4 測定されていない変数の数が、PI-LSTMの再構築精度およびダイナミクス的整合性に与える影響は何か？
• RQ5 物理則に基づく損失関数は、しばしばデータ駆動型モデルで見られる誤った固定点解への収束を防ぐか？

主な発見

• PI-LSTMは1000のリャプノフ時間にわたって、測定されていない変数の確率密度関数を正確に再構築するが、データ駆動型LSTMは固定点解に収束する。特に測定されていない変数が多い場合には顕著である。
• 1つの測定されていない変数がある場合、PI-LSTMは主なリャプノフ指数でわずか0.28%の誤差を達成し、カオス的ダイナミクスの高精度な捉え方を示している。
• 3つの測定されていない変数がある場合、PI-LSTMは主なリャプノフ指数で8%の誤差を示し、複雑性が増しても依然として頑健であることを示している。
• 5つの測定されていない変数がある場合、PI-LSTMは主なリャプノフ指数で11.6%の誤差を示し、情報の不足に伴い性能が低下するが、依然としてデータ駆動型ベースラインより著しく優れている。
• データ駆動型LSTMは、3つおよび5つの測定されていない変数がある場合に、主なリャプノフ指数が負となることがあり、カオス的挙動の再現に完全に失敗し、固定点に収束している。
• PI-LSTMは、部分的観測データでも正のリャプノフ指数とエルゴード的統計を維持することで、システムのカオス的性質を成功裏に保持している。

Figure 4 : Comparison of the target (black squares), PI-LSTM (red dots) and data-driven LSTM (blue dots) LEs for (i) $N_{\xi}=1$ , (ii) $N_{\xi}=3$ , (iii) $N_{\xi}=5$ unmeasured variables. All the vertical axes are in logarithmic scale.