[論文レビュー] Multistep Neural Networks for Data-driven Discovery of Nonlinear Dynamical Systems

Maziar Raissi, Paris Perdikaris+1 more|arXiv (Cornell University)|Jan 4, 2018

Model Reduction and Neural Networks参考文献 15被引用数 154

ひとこと要約

論文はデータから非線形ダイナミクス系を同定し将来状態を予測するために多段時間積分スキームと深層ネットを組み合わせたニューラルネットベースのアプローチを導入する。

ABSTRACT

The process of transforming observed data into predictive mathematical models of the physical world has always been paramount in science and engineering. Although data is currently being collected at an ever-increasing pace, devising meaningful models out of such observations in an automated fashion still remains an open problem. In this work, we put forth a machine learning approach for identifying nonlinear dynamical systems from data. Specifically, we blend classical tools from numerical analysis, namely the multi-step time-stepping schemes, with powerful nonlinear function approximators, namely deep neural networks, to distill the mechanisms that govern the evolution of a given data-set. We test the effectiveness of our approach for several benchmark problems involving the identification of complex, nonlinear and chaotic dynamics, and we demonstrate how this allows us to accurately learn the dynamics, forecast future states, and identify basins of attraction. In particular, we study the Lorenz system, the fluid flow behind a cylinder, the Hopf bifurcation, and the Glycoltic oscillator model as an example of complicated nonlinear dynamics typical of biological systems.

研究の動機と目的

• 自-derived 首尾 govern 方程式を時系列データから自動的に発見することが難しい場合の動機づけ。
• 古典的な多段時間進行とニューラルネットワークを統合してダイナミクスを学習する枠組みを提案する。
• 非線形および混沌系に渡る安定した学習、予測、および吸引域の識別を実証する。

提案手法

• ダイナミクスを d/dt x(t) = f(x(t)) として定式化し、次数 M の線形多段法で離散化する。
• 離散化された残差に対する平均二乗誤差損失を最小化することでダイナミクスを学習するために、関数 f にニューラルネットワークの事前知識を置く。
• Adams-Bashforth, Adams-Moulton, or BDF ファミリを用いてデータとニューラルネットワークから残差を生成する。
• 学習後、同じ初期条件で得られたシステムを積分して将来の状態を予測する。
• 台形則（M=1 Adams-Moulton）が訓練のための堅牢な性能と効果的なデータフローを提供する方法を探る。

実験結果

リサーチクエスチョン

• RQ1 ノンライン性のあるダイナミクス系をノイズの多いまたは高次元の時系列から正確に同定するために、 multistep 時間積分スキームをニューラルネットと組み合わせて活用できるか。
• RQ2 時間ステップ Δt、データノイズ、ネットワークアーキテクチャが学習したダイナミクスの精度と頑健性に与える影響は何か。
• RQ3 パラメータ化されたまたは変動するダイナミクス（例：分岐）を扱い、吸引集合や極限サイクルなどの正しい定性的挙動を提供できるか。
• RQ4 メモリ効果（複数ステップ） は、完全に逐次的なモデルよりも非マルコフ的または高次元システムのモデリング能力にどう影響するか。

主な発見

• この手法は、2D 減衰振動子、ローレンツ系の混沌系、円柱の後流（Navier–Stokes）、Hopf分岐、グリコリック振動子などの非線形系のダイナミクスを同定・再現できる。
• Adams-Moulton（特に台形則）は、テストされた構成全体で Adams-Bashforth や BDF よりも相対的な L2誤差が低い傾向がある。
• 問題依存的な方法として、Δt とデータノイズの影響がパフォーマンスに影響を与え、入力ノイズやスナップショット間の間隔が大きい場合には正則化効果が観察される。
• ネットワークの深さを増やすことで精度が向上することがある一方、幅が過度に広いと一部の成分で悪化することがある；Mステップによるメモリは回帰を完全逐次モデルと比べて単純化する。
• このアプローチは予測精度の向上だけでなく、吸引領域の識別およびパラメータ化されたダイナミクス（例：Hopf分岐での μ の変化）を提供する能力を示す。
• フレームワークは選択した多段スキームを通じて導関数を離散化するため、明示的な時間微分勾配を必要とせず、柔軟な関数近似を実現する。