[论文解读] Uncertainty quantification for noisy inputs-outputs in physics-informed neural networks and neural operators

Zongren Zou, Xuhui Meng+1 more|arXiv (Cornell University)|Nov 19, 2023

Model Reduction and Neural Networks被引用 6

一句话总结

该论文提出了一种用于物理信息神经网络（PINNs）和神经算子（NOs）的贝叶斯不确定性量化（UQ）框架，通过将测量误差模型整合到似然函数中，实现了对噪声输入和输出（如不确定的空间-时间坐标或受损的输入函数）的建模。该方法在涉及传感器噪声的实际场景中实现了准确且具备不确定性的预测，在一维和二维PDE问题以及高维Darcy流问题中均取得了成功。

ABSTRACT

Uncertainty quantification (UQ) in scientific machine learning (SciML) becomes increasingly critical as neural networks (NNs) are being widely adopted in addressing complex problems across various scientific disciplines. Representative SciML models are physics-informed neural networks (PINNs) and neural operators (NOs). While UQ in SciML has been increasingly investigated in recent years, very few works have focused on addressing the uncertainty caused by the noisy inputs, such as spatial-temporal coordinates in PINNs and input functions in NOs. The presence of noise in the inputs of the models can pose significantly more challenges compared to noise in the outputs of the models, primarily due to the inherent nonlinearity of most SciML algorithms. As a result, UQ for noisy inputs becomes a crucial factor for reliable and trustworthy deployment of these models in applications involving physical knowledge. To this end, we introduce a Bayesian approach to quantify uncertainty arising from noisy inputs-outputs in PINNs and NOs. We show that this approach can be seamlessly integrated into PINNs and NOs, when they are employed to encode the physical information. PINNs incorporate physics by including physics-informed terms via automatic differentiation, either in the loss function or the likelihood, and often take as input the spatial-temporal coordinate. Therefore, the present method equips PINNs with the capability to address problems where the observed coordinate is subject to noise. On the other hand, pretrained NOs are also commonly employed as equation-free surrogates in solving differential equations and Bayesian inverse problems, in which they take functions as inputs. The proposed approach enables them to handle noisy measurements for both input and output functions with UQ.

研究动机与目标

• 解决科学机器学习（SciML）模型中不确定性量化（UQ）的关键缺口，其中输入（如PINNs中的空间-时间坐标或NOs中的输入函数）受到噪声污染。
• 克服由于模型非线性导致的噪声输入比噪声输出更具挑战性的问题，尤其是在物理信息学习中。
• 实现PINNs和预训练NOs在实际应用中的可靠部署，例如涉及真实传感器数据的粒子图像测速（PIV）和水文建模。
• 将现有UQ方法（此前仅关注噪声输出）扩展至联合建模输入和输出噪声的混合反演与正演问题。
• 通过使用具备完整不确定性量化的预训练NOs，实现从稀疏、噪声和缺失的测量数据中协同重建物理场（如水力头和渗透率）

提出的方法

• 构建一个贝叶斯推断框架，通过已知方差参数的零均值高斯过程显式建模输入和输出噪声。
• 将测量误差模型整合到PINNs和NOs的似然函数中，实现对底层物理解的联合推断以及从噪声输入中传播不确定性的能力。
• 在PINNs中使用自动微分将物理约束（如PDE残差）嵌入损失函数，同时通过似然函数考虑噪声坐标的因素。
• 将该框架应用于预训练的神经算子（FNOs和DeepONets），使其能够处理噪声输入函数（如边界条件、源项）和噪声输出测量，并实现不确定性量化。
• 使用变分推断或蒙特卡洛采样训练模型，以近似解空间上的后验分布，捕捉认知不确定性与随机不确定性。
• 在高维问题（如Darcy流）中采用协同学习策略，从稀疏、噪声观测中联合重建输入和输出场，并实现具备不确定性的推理。

实验结果

研究问题

• RQ1 空间-时间坐标中的输入噪声如何影响物理信息神经网络（PINNs）预测的可靠性？是否可以有效量化这种影响？
• RQ2 神经算子（NOs）能否在无方程学习中对噪声输入函数（如边界条件或源项）和噪声输出测量具备鲁棒性？
• RQ3 在将PINNs和NOs应用于真实世界传感器数据时，忽略输入噪声会对预测精度和不确定性估计产生何种影响？
• RQ4 贝叶斯推断如何扩展以联合建模物理信息模型中来自输入和输出噪声的不确定性？
• RQ5 能否开发一个统一框架，使PINNs和预训练NOs在噪声输入-输出条件下均能实现不确定性量化？

主要发现

• 所提出的贝叶斯UQ框架在PINNs中成功捕捉了来自噪声输入（如空间-时间坐标）和输出（如解测量）的不确定性传播，在一维Poisson方程和Burgers方程中，预测的不确定性均紧密包围真实解。
• 在一维Burgers方程示例中，该方法从稀疏且噪声的输入/输出数据中重建了解，且不确定性区间紧密包裹真实解，展现出对测量误差的强鲁棒性。
• 对于具有异质性扩散项的时间依赖反应-扩散方程，多输入DeepONet能够从噪声数据中准确重建解、源项和扩散系数，其不确定性估计反映了对各场的置信度。
• 在120维的Darcy流问题中，通过每场20个噪声测量数据，协同重建了水力头和对数渗透率场，平均预测结果准确，不确定性区间始终包围参考解。
• 当存在输入噪声时，该方法在预测误差和不确定性区间可靠性方面显著优于忽略输入噪声的标准PINN和NO方法。
• 该框架兼容多种架构，包括普通FNOs、DeepONets和多输入DeepONets，可在不同SciML工作流中实现广泛适用性。