[论文解读] Bayesian Physics-Informed Neural Networks for real-world nonlinear dynamical systems

Kevin Linka, Amelie Schäfer+4 more|arXiv (Cornell University)|May 12, 2022

Model Reduction and Neural Networks被引用 15

一句话总结

本文提出贝叶斯物理信息神经网络（B-PINNs），通过整合物理定律、数据和不确定性量化，提升非线性动力系统中的预测精度。通过将基于物理的先验与贝叶斯推断相结合，B-PINNs 实现了具有可信区间的一体化前向与反向建模，显著增强了在稀疏、噪声数据下的外推性能——已在阻尼谐振子和新冠疫情传播动力学中得到验证。

ABSTRACT

Understanding real-world dynamical phenomena remains a challenging task. Across various scientific disciplines, machine learning has advanced as the go-to technology to analyze nonlinear dynamical systems, identify patterns in big data, and make decision around them. Neural networks are now consistently used as universal function approximators for data with underlying mechanisms that are incompletely understood or exceedingly complex. However, neural networks alone ignore the fundamental laws of physics and often fail to make plausible predictions. Here we integrate data, physics, and uncertainties by combining neural networks, physics-informed modeling, and Bayesian inference to improve the predictive potential of traditional neural network models. We embed the physical model of a damped harmonic oscillator into a fully-connected feed-forward neural network to explore a simple and illustrative model system, the outbreak dynamics of COVID-19. Our Physics-Informed Neural Networks can seamlessly integrate data and physics, robustly solve forward and inverse problems, and perform well for both interpolation and extrapolation, even for a small amount of noisy and incomplete data. At only minor additional cost, they can self-adaptively learn the weighting between data and physics. Combined with Bayesian Neural Networks, they can serve as priors in a Bayesian Inference, and provide credible intervals for uncertainty quantification. Our study reveals the inherent advantages and disadvantages of Neural Networks, Bayesian Inference, and a combination of both and provides valuable guidelines for model selection. While we have only demonstrated these approaches for the simple model problem of a seasonal endemic infectious disease, we anticipate that the underlying concepts and trends generalize to more complex disease conditions and, more broadly, to a wide variety of nonlinear dynamical systems.

研究动机与目标

• 解决标准神经网络因缺乏物理一致性而导致在训练数据外难以外推的局限性。
• 在神经网络训练中整合基本物理定律（例如阻尼谐振子），以提升泛化能力与鲁棒性。
• 在物理信息框架内利用贝叶斯推断，量化预测中的认知不确定性与偶然不确定性。
• 在不同数据条件下，评估 B-PINNs 在插值、外推和反问题中的性能表现。
• 提供一个统一框架，通过贝叶斯优化自适应平衡数据保真度与物理一致性。

提出的方法

• 将阻尼谐振子的运动方程作为物理信息损失函数，嵌入全连接前馈神经网络中。
• 使用贝叶斯神经网络推断网络权重与偏置的后验分布，通过马尔可夫链蒙特卡洛（MCMC）采样实现不确定性量化。
• 将贝叶斯框架扩展至联合推断神经网络参数与物理系统参数（例如阻尼系数、弹簧刚度、初始位移）。
• 应用哈密顿蒙特卡洛（HMC）对网络参数与物理参数的联合后验分布进行采样，确保鲁棒的不确定性估计。
• 对所有未知参数（网络参数与物理参数）施加对数正态先验，以正则化学习过程并支持概率推断。
• 对系统参数（例如将弹簧刚度归一化为单位1）进行缩放，以提升贝叶斯优化过程的收敛性与稳定性。

实验结果

研究问题

• RQ1 在数据有限或存在噪声的非线性动力系统中，将物理定律整合进神经网络在多大程度上能提升预测性能？
• RQ2 贝叶斯物理信息神经网络在插值与外推中，能否通过可信区间提供可靠的不确定性量化？
• RQ3 与纯数据驱动模型相比，物理约束的引入在多大程度上影响了贝叶斯神经网络训练的收敛性与稳定性？
• RQ4 参数缩放对贝叶斯物理信息神经网络的性能与可靠性有何影响？
• RQ5 在数据稀缺条件下，B-PINNs 能否有效解决现实动力系统（如疾病传播建模）中的前向与反向问题？

主要发现

• 与标准神经网络及仅使用贝叶斯神经网络相比，贝叶斯物理信息神经网络（B-PINNs）在稀疏或噪声数据条件下展现出更优的外推性能。
• 物理约束的引入降低了预测不确定性，表现为 B-PINNs 的可信区间比纯数据驱动的贝叶斯神经网络更窄。
• 对物理参数的合理缩放——特别是将弹簧刚度 $k$ 设为单位1——显著提升了 B-PINNs 的收敛性与预测精度，凸显了对初始化与参数缩放的敏感性。
• B-PINNs 在训练过程中自适应地平衡数据损失与物理损失的权重，即使在数据不完整或不完美时也能实现鲁棒学习。
• 该方法成功捕获了网络参数与物理参数的完整后验分布，支持基于不确定性的决策制定。
• 在相同问题下，B-PINNs 在预测精度与可靠性方面均优于标准 PINNs 与贝叶斯神经网络，尤其在训练窗口之外表现更优，凸显了物理、数据与贝叶斯推断相结合的价值。