[論文レビュー] FINDE: Neural Differential Equations for Finding and Preserving Invariant Quantities

Takashi Matsubara, Takaharu Yaguchi|arXiv (Cornell University)|Oct 1, 2022

Model Reduction and Neural Networks被引用数 4

ひとこと要約

FINDE は、射影法と離散勾配法を用いて、データから未知の第一積分（不変量）を同定し、保存するニューラル微分方程式フレームワークを導入する。離散時間において第一積分を正確に保存することで、長期的な予測精度と科学的発見を実現し、さまざまな系において、従来手法を上回る安定性と一般化性能を示す。

ABSTRACT

Many real-world dynamical systems are associated with first integrals (a.k.a. invariant quantities), which are quantities that remain unchanged over time. The discovery and understanding of first integrals are fundamental and important topics both in the natural sciences and in industrial applications. First integrals arise from the conservation laws of system energy, momentum, and mass, and from constraints on states; these are typically related to specific geometric structures of the governing equations. Existing neural networks designed to ensure such first integrals have shown excellent accuracy in modeling from data. However, these models incorporate the underlying structures, and in most situations where neural networks learn unknown systems, these structures are also unknown. This limitation needs to be overcome for scientific discovery and modeling of unknown systems. To this end, we propose first integral-preserving neural differential equation (FINDE). By leveraging the projection method and the discrete gradient method, FINDE finds and preserves first integrals from data, even in the absence of prior knowledge about underlying structures. Experimental results demonstrate that FINDE can predict future states of target systems much longer and find various quantities consistent with well-known first integrals in a unified manner.

研究の動機と目的

• 動的システムの正確なモデリングに必要な第一積分の事前知識が欠落している既存のニューラルネットワークの限界を是正すること。
• 基礎的な幾何構造が未知であっても、データから未知の第一積分を同定できる統一的フレームワークの開発。
• 離散時間シミュレーションにおいて第一積分を正確に保存することにより、予測精度と安定性の向上。
• 既存の物理情報モデルと統合可能であり、重複を避けるために既知の第一積分を冗長に学習しないようにすること。
• 複雑なシステムにおける既知および新規の不変量を同定することで、科学的発見を可能にすること。

提案手法

• 連続時間バージョンでは、射影法を用いて動的システムを第一積分が保存される部分多様体上に制約する。
• 離散時間バージョンでは、離散勾配法を活用し、第一積分を数値精度まで正確に保存する。
• 学習目的を制約付き最適化問題として定式化し、離散時間における第一積分の勾配がゼロになるように制約を課す。
• 観測された軌道上でエンドツーエンドに訓練し、潜在空間のパラメータ化により、第一積分の数と形状を自動的に同定する。
• シンボリックなシステム知識が不要な形で、ニューラルODEのベクトル場を変更することで不変構造を尊重する。
• HNN や既存のアーキテクチャと互換性があり、既知の第一積分を制約として組み込むことが可能である。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、純粋に観測データから動的システムにおける未知の第一積分を同定できるか？
• RQ2 システムの幾何構造を事前に知らない状態で、離散時間シミュレーションにおいて第一積分を正確に保存する方法は何か？
• RQ3 提案手法は、長期予測精度において既存の物理情報ニューラルネットワークを上回ることができるか？
• RQ4 初期条件によって異なる第一積分（例：エネルギー、運動量）を含む場合、フレームワークはどのように対処するか？
• RQ5 既存の不変量保存モデルと統合することで、一般化性能が向上し、重複学習を回避できるか？

主な発見

• 2-pend データセット（K=3）において、FINDE は標準的な NODE よりも顕著に優れた長期予測性能を示し、1ステップ誤差は 0.63 ± 0.02、VPT は 0.994 ± 0.002 を達成した。
• 離散時間バージョン（dFINDE）は、丸め誤差の範囲で第一積分を正確に保存したが、標準的な NODE や修正版 NPM は不変量を維持できなかった。
• 2-pend データセットでは、dFINDE は5回の試行すべてで100％の成功率を達成したのに対し、修正版 NPM は最適化発散やアンダーフローのため50％の試行で失敗した。
• K=6 の場合、cFINDE を組み込んだ NODE は訓練セットで崩壊的失敗を示した（1ステップ誤差：9.93 ± 0.00）、これは誤った部分多様体次元が性能を著しく劣化させることを示している。
• エネルギー以外のエネルギー散逸系においても、第一積分を効果的に同定でき、科学的発見の可能性を示した。
• 時間変動する第一積分に対応するように調整された NPM でさえも、dFINDE は精度と耐障害性の両面で優れており、より低い誤差とより高い成功率を達成した。