[论文解读] Bayesian Hidden Physics Models: Uncertainty Quantification for Discovery of Nonlinear Partial Differential Operators from Data

Stephanie A. Atkinson|arXiv (Cornell University)|Jun 7, 2020

Gaussian Processes and Bayesian Inference被引用 10

一句话总结

本文提出了贝叶斯隐式物理模型（BHPM），一种概率框架，通过神经网络与高斯过程从数据中学习非线性偏微分算子，实现物理发现中的不确定性量化。通过整合多个实验数据集并利用贝叶斯推断传播认知不确定性，该方法为算子和解提供了后验分布，显著提升了在预测新初边值问题（IBVP）时的可靠性。

ABSTRACT

What do data tell us about physics-and what don't they tell us? There has been a surge of interest in using machine learning models to discover governing physical laws such as differential equations from data, but current methods lack uncertainty quantification to communicate their credibility. This work addresses this shortcoming from a Bayesian perspective. We introduce a novel model comprising "leaf" modules that learn to represent distinct experiments' spatiotemporal functional data as neural networks and a single "root" module that expresses a nonparametric distribution over their governing nonlinear differential operator as a Gaussian process. Automatic differentiation is used to compute the required partial derivatives from the leaf functions as inputs to the root. Our approach quantifies the reliability of the learned physics in terms of a posterior distribution over operators and propagates this uncertainty to solutions of novel initial-boundary value problem instances. Numerical experiments demonstrate the method on several nonlinear PDEs.

研究动机与目标

• 为数据驱动的微分方程发现中缺乏不确定性量化（UQ）的问题提供解决方案。
• 开发一种贝叶斯框架，量化因数据有限而导致的所学微分算子中的认知不确定性。
• 将推断算子中的不确定性传播至新初边值问题（IBVP）的预测中。
• 通过概率推断实现物理发现中可信赖的外推与可信度评估。
• 将多个实验数据集整合为统一的、具备不确定性感知能力的底层PDE算子模型。

提出的方法

• 模型使用‘叶’神经网络表示来自不同实验的时空数据，每个网络捕捉一个初边值问题（IBVP）的不同解。
• 自动微分计算叶函数的空间与时间导数，作为根模型的输入。
• 根模块将未知的非线性微分算子建模为高斯过程（GP），实现对算子的非参数推断。
• 对高斯过程执行贝叶斯推断，获得微分算子的后验分布，从而量化不确定性。
• 将算子中的不确定性传播至新IBVP的解，得到解的分布而非单一确定性预测。
• 该方法使用Adam优化器与余弦退火学习率进行随机优化，以训练神经网络组件。

实验结果

研究问题

• RQ1 基于数据的非线性PDE发现方法能否为预测提供可靠的不确定性估计？
• RQ2 如何量化所学微分算子中的认知不确定性，并将其传播至新初边值问题（IBVP）的解中？
• RQ3 贝叶斯方法在多大程度上能提升从有限且含噪数据中发现物理规律的可信度与可信性？
• RQ4 整合多个实验数据集在多大程度上增强了所学算子的鲁棒性与泛化能力？
• RQ5 算子中的不确定性量化能否带来更好的泛化性能，并提升对新IBVP中故障模式的检测能力？

主要发现

• 贝叶斯隐式物理模型成功利用高斯过程先验量化了所学微分算子的不确定性，为算子提供了后验分布。
• 该方法实现了不确定性向新IBVP解的传播，得到解的预测分布而非单一点估计。
• 在Burgers方程与KdV方程上的数值实验表明，该模型实现了较低的预测误差，均方根误差（RMSE）与PINNs相当，但具备内置的不确定性量化能力。
• 模型的不确定性估计具有良好校准性，如输入空间覆盖图所示，在训练数据密集区域，置信区间能够覆盖真实解。
• 该方法在可靠性方面优于确定性方法，能在数据覆盖稀疏区域标记低置信度预测，降低无声失败的风险。
• 该方法对噪声数据具有鲁棒性，并能有效泛化至未见的初值与边界条件，且在外推区域中不确定性合理增加。