[論文レビュー] Stochastic Physics-Informed Neural Networks (SPINN): A Moment-Matching Framework for Learning Hidden Physics within Stochastic Differential Equations.

Jared O’Leary, Joel A. Paulson+1 more|arXiv (Cornell University)|Sep 3, 2021

Model Reduction and Neural Networks参考文献 61被引用数 6

ひとこと要約

SPINN は、不確実性の伝播を用いて計算された予測統計モーメントとデータ駆動の推定値を照合することで、確率微分方程式（SDE）内の隠れた物理法則を学習する画期的なディープラーニングフレームワークである。自動微分とミニバッチ最適化を活用して、構成則を表すニューラルネットワークを訓練し、乗法的ノイズを伴う多次元SDEにおける隠れた力学の強固な同定を可能にする。

ABSTRACT

Stochastic differential equations (SDEs) are used to describe a wide variety of complex stochastic dynamical systems. Learning the hidden physics within SDEs is crucial for unraveling fundamental understanding of the stochastic and nonlinear behavior of these systems. We propose a flexible and scalable framework for training deep neural networks to learn constitutive equations that represent hidden physics within SDEs. The proposed stochastic physics-informed neural network framework (SPINN) relies on uncertainty propagation and moment-matching techniques along with state-of-the-art deep learning strategies. SPINN first propagates stochasticity through the known structure of the SDE (i.e., the known physics) to predict the time evolution of statistical moments of the stochastic states. SPINN learns (deep) neural network representations of the hidden physics by matching the predicted moments to those estimated from data. Recent advances in automatic differentiation and mini-batch gradient descent are leveraged to establish the unknown parameters of the neural networks. We demonstrate SPINN on three benchmark in-silico case studies and analyze the framework's robustness and numerical stability. SPINN provides a promising new direction for systematically unraveling the hidden physics of multivariate stochastic dynamical systems with multiplicative noise.

研究の動機と目的

• 複雑な力学的システムを支配する確率微分方程式（SDE）内に隠れた構成則を発見するためのスケーラブルで柔軟なフレームワークの開発。
• 乗法的ノイズと非線形確率的力学を伴う系における隠れた物理法則の学習という課題への対処。
• SDEが予測する統計モーメントと実測データのモーメントを照合することで、データ駆動型の物理法則の同定を可能にする。
• 現代のディープラーニング最適化と不確実性の伝播およびモーメント照合技術を統合し、より高いロバスト性と安定性を実現する。

提案手法

• SPINN は、既知のSDE構造を通じて確率的性質を伝播させ、システム状態の統計的モーメントの時間発展を解析的または数値的に計算する。
• 未知の構成則を記述するための深層ニューラルネットワークを、SDEのドリフト項および拡散係数を支配するものとして採用する。
• SDEの伝播から得られる予測モーメントと、観測データから推定された実際のモーメントとの乖離を、モーメント照合に基づく損失関数で最小化する。
• モーメント計算およびニューラルネットワークパラメータの勾配を逆伝播させるために自動微分を用いることで、エンドツーエンドの訓練を実現する。
• 訓練プロセスのスケーリングと収束効率の向上のため、ミニバッチ勾配降下法を適用する。
• 多次元系および乗法的ノイズを伴う系を扱えるように設計されており、数値的安定性とロバスト性を確保する。

実験結果

リサーチクエスチョン

• RQ1 構成則が未知であるがSDE構造が部分的に既知である場合、どのようにして確率微分方程式内に隠れた物理法則を体系的かつ効果的に学習できるか？
• RQ2 予測されたモーメントとデータから推定された統計的モーメントの間のモーメント照合は、非線形的かつ多次元的なSDEにおける隠れた力学の正確で安定した同定を可能にするか？
• RQ3 乗法的ノイズと複雑な非線形性を伴うSDEに適用した場合、SPINN のロバスト性および数値的安定性はどの程度の水準にあるか？
• RQ4 既知のSDE構造に沿った不確実性の伝播は、学習済みニューラルネットワークモデルの一般化性能および解釈可能性をどの程度向上させるか？

主な発見

• SPINN は、3つのインシリコベンチマーク事例において、乗法的ノイズを伴うSDE内に隠れた構成則を正確に回復することができ、その有効性を示した。
• フレームワークは多様な確率的力学系において強固な性能を発揮し、高ノイズレベル下でも数値的安定性を維持した。
• 予測モーメントとデータ推定モーメントの間のモーメント照合により、明示的な尤度推定を必要とせずに、深層ニューラルネットワークの有効な訓練が可能になった。
• 自動微分とミニバッチ最適化を活用することで、SPINN は高次元系および複雑な非線形性に対しても効率的にスケーリング可能である。
• 不確実性の伝播とニューラルネットワーク学習を統合することで、得られたモデルの解釈可能性と物理的一致性が向上した。
• SPINN は、複雑な確率的系における隠れた物理法則の解明に体系的かつスケーラブルなアプローチを提供し、従来のブラックボックス学習手法に対する有望な代替手法を提示している。