[論文レビュー] GN-SINDy: Greedy Sampling Neural Network in Sparse Identification of Nonlinear Partial Differential Equations

Ali Forootani, Kapadia, Harshit+3 more|arXiv (Cornell University)|May 14, 2024

Model Reduction and Neural Networks被引用数 4

ひとこと要約

本稿では、グリーディー採番と深層ニューラルネットワーク（DNN）およびスパース同定（SINDy）を統合することで、非線形偏微分方程式（PDE）の同定におけるデータ効率性と精度を向上させる新規手法GN-SINDyを提案する。離散的経験的補間法（DEIM）を用いて情報量の多いスナップショットを選択し、STRidgeを用いてスパarsityを促進することで、全データの0.5–0.874%のみを用いても高い精度のPDE同定を達成し、DeePyMoDなどの先行手法を上回る性能を示す。

ABSTRACT

The sparse identification of nonlinear dynamical systems (SINDy) is a data-driven technique employed for uncovering and representing the fundamental dynamics of intricate systems based on observational data. However, a primary obstacle in the discovery of models for nonlinear partial differential equations (PDEs) lies in addressing the challenges posed by the curse of dimensionality and large datasets. Consequently, the strategic selection of the most informative samples within a given dataset plays a crucial role in reducing computational costs and enhancing the effectiveness of SINDy-based algorithms. To this aim, we employ a greedy sampling approach to the snapshot matrix of a PDE to obtain its valuable samples, which are suitable to train a deep neural network (DNN) in a SINDy framework. SINDy based algorithms often consist of a data collection unit, constructing a dictionary of basis functions, computing the time derivative, and solving a sparse identification problem which ends to regularised least squares minimization. In this paper, we extend the results of a SINDy based deep learning model discovery (DeePyMoD) approach by integrating greedy sampling technique in its data collection unit and new sparsity promoting algorithms in the least squares minimization unit. In this regard we introduce the greedy sampling neural network in sparse identification of nonlinear partial differential equations (GN-SINDy) which blends a greedy sampling method, the DNN, and the SINDy algorithm. In the implementation phase, to show the effectiveness of GN-SINDy, we compare its results with DeePyMoD by using a Python package that is prepared for this purpose on numerous PDE discovery

研究の動機と目的

• 大規模データセットを用いた非線形PDEのスパース同定における次元の呪いと高い計算コストを解決すること。
• ランダム採番の代わりに、最も情報量の多いスナップショットを同定するグリーディー採番戦略を導入することで、SINDyベースのPDE同定におけるデータ効率性を向上させること。
• STRidgeなどの高度なスパarsity促進ソルバーをSINDyフレームワークに統合することで、モデル同定の精度を向上させること。
• DeePyMoDフレームワークを、ランダム採番とデフォルトのソルバーから、体系的で最適化されたグリーディー採番とスパース回帰パイプラインに置き換えること。
• データサイズの低減と改善された採番戦略が、最小限のハイパーパrameterチューニングで優れたPDE回復を実現することを示すこと。

提案手法

• PDEの解行列から最も情報量の多いスナップショットを同定するため、離散的経験的補間法（DEIM）を用い、グリーディー採番戦略を構築する。
• 選択されたグリーディー採番サンプルから、深層ニューラルネットワーク（DNN）を用いて背後にあるダイナミクスを学習し、空間的・時間的微分の高精度な近似を可能にする。
• DNNの予測結果をSINDyフレームワークに統合するために、候補基底関数（例：u, ux, uxx, u^2ux など）の辞書を構築する。
• スパース同定ステップでスパarsityを強制し、正しい項の選択を促進するために、逐次しきい値リッジ回帰（STRidge）アルゴリズムを適用する。
• グリーディー採番のしきい値（ε_thr = 10⁻⁵）と時間分割（t_div = 2）を用い、サンプル選択とトレーニングプロセスにおける時間分解能を制御する。
• バーガース方程式、アラン＝カーン方程式、KdV方程式の複数のPDEに対して、同一のDNNアーキテクチャと評価指標を用いてGN-SINDyとDeePyMoDの性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 グリーディー採番によるPDEスナップショットの選択は、ランダム採番と比較して、SINDyベースのPDE同定に必要なデータ量を顕著に削減できるか？
• RQ2 STRidgeによるスパarsity促進の統合は、ノイズや高次元データの存在下でもPDEモデル同定の精度と頑健性を向上させるか？
• RQ3 DEIMに基づく採番とDNNに基づく回帰の組み合わせは、KdVやアラン＝カーン方程式のような複雑な非線形PDEの回復にどの程度効果をもたらすか？
• RQ4 GN-SINDyの性能は、DNNアーキテクチャや採番戦略といったハイパーパrameterにどの程度感受的か。また、多様なPDEクラスに一般化可能か？
• RQ5 非線形PDE同定において、データ効率性とモデル精度の両面で、GN-SINDyはDeePyMoDなどの最先端手法を上回るか？

主な発見

• GN-SINDyは、全データの0.874%（約103,000スナップショット中の900）のみを用いても、Korteweg-de Vries（KdV）方程式を正確に回復した。これは、極めて高いデータ効率性を示している。
• DNNアーキテクチャが[2, 64, 64, 64, 64, 1]のとき、KdV方程式を正確に回復し、推定されたPDEは u_t - 5.9812 u u_x - 0.9923 u_xxx = 0 となる。
• GN-SINDyは、全テストPDEにおいてDeePyMoDを上回った：バーガース方程式は0.5%、アラン＝カーン方程式は0.1%、KdV方程式は0.874%のデータで回復した。
• GN-SINDyにおける係数の推移を観察すると、u_xxx項の方がu u_x項よりも早く収束しており、より優れたサンプル選択による学習ダイナミクスの向上が示された。
• DNNの1層あたり8または16ニューロンを用いた場合、GN-SINDyはKdV方程式を回復できず、モデル同定がDNNアーキテクチャに感受的であり、適切なハイパーパrameterチューニングの重要性が浮き彫りになった。
• DeePyMoDはランダム採番とデフォルトのLASSO/OLSソルバーを用いており、KdV方程式に対しては極めて不正確で過剰適合したモデルを生成し、u^2 u_xxx や u^2 u_x といった誤った項を含んでいた。一方、GN-SINDyは正しいスパース構造を回復した。