[論文レビュー] Structure-preserving Sparse Identification of Nonlinear Dynamics for Data-driven Modeling

Kookjin Lee, Nathaniel Trask+1 more|arXiv (Cornell University)|Sep 11, 2021

Model Reduction and Neural Networks参考文献 46被引用数 8

ひとこと要約

本稿では、SINDyとNeural ODEを統合することで、解釈可能で物理的に整合性のある力学系を学習する構造保存型スパース同定フレームワークを提案する。Neural ODEの学習パイプライン内でL1正則化とマグニチュードベースのプルーニングを組み合わせることで、ブラックボックス型ODEおよびハミルトニアン、GENERIC、ポート-ハミルトニアン系といった構造保存型力学系の両方を同定可能となり、可逆的・不可逆的・カオス的系において、精度と安定性の向上を実証した。

ABSTRACT

Discovery of dynamical systems from data forms the foundation for data-driven modeling and recently, structure-preserving geometric perspectives have been shown to provide improved forecasting, stability, and physical realizability guarantees. We present here a unification of the Sparse Identification of Nonlinear Dynamics (SINDy) formalism with neural ordinary differential equations. The resulting framework allows learning of both "black-box" dynamics and learning of structure preserving bracket formalisms for both reversible and irreversible dynamics. We present a suite of benchmarks demonstrating effectiveness and structure preservation, including for chaotic systems.

研究の動機と目的

• データ駆動型力学系モデリングにおける物理的構造（保存則や熱力学的整合性など）を維持する課題に対処すること。
• 物理的制約を重み付き損失項によって近似的に強制する物理学に配慮した機械学習の限界を克服すること。
• スパース同定（SINDy）とNeural ODEを統合し、解釈可能なブラックボックスモデリングと正確な構造保存の両方を可能にする統一フレームワークの開発。
• 幾何的表現を用いて数学的性質が保証されたモデルを構築し、複雑な力学系（カオス系を含む）のロバストな学習を可能にすること。
• 可逆的・不可逆的・カオス的力学系を含む多様なベンチマークにおいて、本手法の有効性を実証すること。

提案手法

• 学習された係数行列を介して非線形基底関数のスパースな組み合わせとしてベクトル場をパラメータライズすることにより、SINDy形式をNeural ODEに適応する。
• トレーニング中にL1正則化とマグニチュードベースのプルーニングを用いてスパarsityを強制し、関連する基底関数の最小集合を同定する。
• ハミルトニアン、GENERIC、ポート-ハミルトニアンといった構造保存型形式をNeural ODEフレームワークに統合し、物理的制約を構成上正確に埋め込む。
• 時間軸に沿った勾配計算を可能にするために、微分可能ODEソルバ（例：dopri5）を用いることで、スパース係数行列のエンドツーエンド学習を実現する。
• 状態測定値と数値的微分近似から候補関数のライブラリ（例：多項式、三角関数項）を構築する。
• 二段階のトレーニング戦略を採用：まずL1正則化を用いてNeural ODEを学習し、次に小さな係数をプルーニングしてスパースで解釈可能なモデルを達成する。

実験結果

リサーチクエスチョン

• RQ1 スパース同定は、Neural ODEに効果的に拡張可能であり、非線形力学系の解釈可能かつ構造保存型モデリングを可能にするか？
• RQ2 提案されたSINDy-NODEフレームワークは、ハミルトニアン系のような可逆的系の力学系同定にどの程度有効か？
• RQ3 GENERICやポート-ハミルトニアン形式に従う不可逆的系において、構造の正確な同定と保存が可能か？
• RQ4 構造保存型形式の統合により、特にカオス的系において予測精度と数値的安定性が向上するか？
• RQ5 数値的アンダーフローと初期化への感受性を含む、モデルトレーニングにおける実用的課題は何か？

主な発見

• 提案されたSINDy-NODEフレームワークは、スパース回帰とNeural ODEを統合することで、支配的方程式の同定において高い精度を達成し、解釈可能な力学系を学習できた。
• ハミルトニアン、GENERIC、ポート-ハミルトニアンといった構造保存型形式がモデルに正確に組み込まれ、エネルギー・エントロピーなどの物理的量の正確な保存が保証された。
• カオス的系に対してもロバストな性能を示し、標準的なブラックボックスモデルに比べて長期的な安定性と正確な予測が維持された。
• マグニチュードベースのプルーニングにより、不要な基底関数が効果的に排除され、精度を損なわずコンパクトで解釈可能なモデルが得られた。
• 物理的制約を正確に強制することで、経験的損失重み付けを必要とせず、従来の物理学に配慮した機械学習手法を上回る性能を示した。
• 適応的ODEソルバにおけるアンダーフローなどの数値的課題が観察されたが、初期化の工夫とバッチサイズの調整により緩和された。