[論文レビュー] Bayesian Physics-Informed Neural Networks for real-world nonlinear dynamical systems

Kevin Linka, Amelie Schäfer+4 more|arXiv (Cornell University)|May 12, 2022

Model Reduction and Neural Networks被引用数 15

ひとこと要約

本稿では、物理法則、データ、不確実性の定量化を統合することで、非線形力学系における予測精度を向上させるベイジアン物理統合ニューラルネットワーク（B-PINNs）を提案する。物理に基づく事前分布とベイジアン推論を組み合わせることで、信頼区間を伴う頑健な前向きおよび逆問題モデリングが可能となり、特にデータが疎でノイズが多い状況下でも、予測の外挿性能が顕著に向上する。実際の応用例として、減衰振動子とCOVID-19の流行動態が提示された。

ABSTRACT

Understanding real-world dynamical phenomena remains a challenging task. Across various scientific disciplines, machine learning has advanced as the go-to technology to analyze nonlinear dynamical systems, identify patterns in big data, and make decision around them. Neural networks are now consistently used as universal function approximators for data with underlying mechanisms that are incompletely understood or exceedingly complex. However, neural networks alone ignore the fundamental laws of physics and often fail to make plausible predictions. Here we integrate data, physics, and uncertainties by combining neural networks, physics-informed modeling, and Bayesian inference to improve the predictive potential of traditional neural network models. We embed the physical model of a damped harmonic oscillator into a fully-connected feed-forward neural network to explore a simple and illustrative model system, the outbreak dynamics of COVID-19. Our Physics-Informed Neural Networks can seamlessly integrate data and physics, robustly solve forward and inverse problems, and perform well for both interpolation and extrapolation, even for a small amount of noisy and incomplete data. At only minor additional cost, they can self-adaptively learn the weighting between data and physics. Combined with Bayesian Neural Networks, they can serve as priors in a Bayesian Inference, and provide credible intervals for uncertainty quantification. Our study reveals the inherent advantages and disadvantages of Neural Networks, Bayesian Inference, and a combination of both and provides valuable guidelines for model selection. While we have only demonstrated these approaches for the simple model problem of a seasonal endemic infectious disease, we anticipate that the underlying concepts and trends generalize to more complex disease conditions and, more broadly, to a wide variety of nonlinear dynamical systems.

研究の動機と目的

• 訓練データの外に extrapolate する能力に欠ける標準的ニューラルネットワークの限界を解消するため、物理的整合性の欠如に起因する問題に対処する。
• 基本的な物理法則（例：減衰振動子）をニューラルネットワークの学習に統合することで、一般化性と耐障害性を向上させる。
• ベイジアン推論を物理統合フレームワーク内で用いて、予測におけるエピステミック的およびアレアトリックな不確実性を定量化する。
• 異なるデータ条件の下で、補間、外挿、逆問題の各状況においてB-PINNsの性能を評価する。
• ベイジアン最適化を通じて、データ適合性と物理的整合性の両方を自己適応的にバランスさせる統一フレームワークを提供する。

提案手法

• 減衰振動子の運動方程式を、完全結合型順方向ニューラルネットワーク内に物理統合損失関数として埋め込む。
• ベイジアンニューラルネットワークを用いて、ネットワークの重みおよびバイアスの事後分布を推論し、マルコフ連鎖モンテカルロ（MCMC）サンプリングにより不確実性の定量化を実現する。
• ベイジアンフレームワークを拡張し、ニューラルネットワークのパラメータと物理系パラメータ（例：減衰係数、ばね定数、初期変位）を同時に推論する。
• ハミルトニアン・モンテカルロ（HMC）を用いて、ネットワークパラメータと物理パラメータの事後分布の統合分布からのサンプリングを実施し、頑健な不確実性推定を保証する。
• すべての未知パラメータ（ネットワークおよび物理的）に対し、対数正規分布の事前分布を組み込むことで、学習の正則化と確率的推論を支援する。
• 収束性と安定性の向上を目的として、システムパラメータ（例：ばね定数を1に正規化）をスケーリングする。

実験結果

リサーチクエスチョン

• RQ1 物理法則をニューラルネットワークに統合することで、限られたまたはノイズの多いデータにおける非線形力学系の予測性能がどの程度向上するか？
• RQ2 ベイジアン物理統合ニューラルネットワークは、補間および外挿の両状況において、信頼区間を通じて信頼性のある不確実性定量化をどの程度達成できるか？
• RQ3 物理的制約の導入が、純粋にデータ駆動のモデルと比較して、ベイジアンニューラルネットワーク学習の収束性および安定性にどのような影響を与えるか？
• RQ4 パラメータスケーリングが、ベイジアン物理統合ニューラルネットワークの性能および信頼性に与える影響は何か？
• RQ5 データが不足する状況下でも、B-PINNsは実世界の力学系（例：感染症の流行モデリング）における前向きおよび逆問題を効果的に解けるか？

主な発見

• ベイジアン物理統合ニューラルネットワーク（B-PINNs）は、標準的ニューラルネットワークや単独のベイジアンニューラルネットワークと比較して、特にデータが疎またはノイズが多い状況下で顕著に優れた外挿性能を示す。
• 物理的制約の統合により、予測の不確実性が低減され、B-PINNsでは純粋にデータ駆動のベイジアンニューラルネットワークと比較して、信頼区間が狭くなることが実証された。
• 物理的パラメータの適切なスケーリング、特にばね定数 $k$ を1に設定することで、B-PINNsの収束性と予測精度が顕著に向上し、初期値とスケーリングに敏感であることが示された。
• B-PINNsは、学習中にデータ損失と物理損失の重み付けを自己適応的にバランスさせることで、不完全または不正確なデータ下でも頑健な学習を実現する。
• 本手法は、ネットワークおよび物理的パラメータの両方の事後分布を完全に捉えることができ、意思決定における不確実性を伴う状況での支援を可能にする不確実性定量化を実現した。
• 同一の問題に対して、B-PINNsは標準的PINNsおよびベイジアンニューラルネットワークを上回る予測精度と信頼性を示し、特に学習ウィンドウの外において顕著に優れた性能を発揮した。これは、物理、データ、ベイジアン推論を統合することの価値を示している。