[论文解读] Approximate Bayesian Neural Operators: Uncertainty Quantification for Parametric PDEs

Emilia Magnani, Nicholas Krämer+3 more|arXiv (Cornell University)|Aug 2, 2022

Model Reduction and Neural Networks被引用 4

一句话总结

该论文提出了一种近似贝叶斯神经算子（Approximate Bayesian Neural Operators）方法，为求解参数化偏微分方程（PDEs）的深度学习模型提供不确定性量化。通过结合线性情况下的高斯过程理论与深度情况下的拉普拉斯近似，该方法实现了结构化、局部化的不确定性估计，能够识别出高预测误差区域，即使在高数据量和低数据量场景下亦然。

ABSTRACT

Neural operators are a type of deep architecture that learns to solve (i.e. learns the nonlinear solution operator of) partial differential equations (PDEs). The current state of the art for these models does not provide explicit uncertainty quantification. This is arguably even more of a problem for this kind of tasks than elsewhere in machine learning, because the dynamical systems typically described by PDEs often exhibit subtle, multiscale structure that makes errors hard to spot by humans. In this work, we first provide a mathematically detailed Bayesian formulation of the ''shallow'' (linear) version of neural operators in the formalism of Gaussian processes. We then extend this analytic treatment to general deep neural operators using approximate methods from Bayesian deep learning. We extend previous results on neural operators by providing them with uncertainty quantification. As a result, our approach is able to identify cases, and provide structured uncertainty estimates, where the neural operator fails to predict well.

研究动机与目标

• 解决神经算子在安全关键和科学应用中缺乏不确定性量化的问题，这对PDE求解器至关重要。
• 为神经算子开发一个理论基础坚实的贝叶斯框架，以评估预测置信度并检测故障模式。
• 通过近似推理方法，将解析贝叶斯处理从线性（浅层）情况扩展到深度神经算子。
• 通过在预训练模型上应用后处理拉普拉斯近似，实现在计算开销极低的前提下进行实际的不确定性估计。
• 证明不确定性估计能够检测全局和局部预测误差，特别是在存在模型伪影或泛化能力差的区域。

提出的方法

• 利用格林函数和核方法，将线性参数化PDE的解算子形式化为高斯过程（GP）。
• 利用GP框架，为浅层（单层）神经算子情况提供精确的贝叶斯推断。
• 通过拉普拉斯近似将贝叶斯处理扩展到深度神经算子，实现在训练后高效近似后验分布。
• 将拉普拉斯近似应用于估计网络权重的后验协方差，从而获得对函数输出的预测不确定性。
• 使用拉普拉斯近似的预测方差作为输入域上结构化的不确定性度量。
• 在函数对 (f, u) 上训练神经算子以学习解算子 G: f ↦ u，随后应用贝叶斯推断以量化预测中的不确定性。

实验结果

研究问题

• RQ1 能否基于高斯过程，为神经算子的线性（浅层）版本严格推导出贝叶斯公式？
• RQ2 在解析解不可行的深度神经算子中，如何有效扩展不确定性量化？
• RQ3 通过拉普拉斯近似进行的近似贝叶斯推断是否能检测PDE解中的局部预测误差，特别是在存在模型伪影的区域？
• RQ4 所提出的不确定性估计在低数据和高数据场景下是否保持良好校准且具有信息量？
• RQ5 该不确定性度量能否区分由模型局限性（如ReLU激活函数导致的分段线性区域）引起的高误差区域与由数据稀疏性引起的高误差区域？

主要发现

• 神经算子的线性情况可通过高斯过程实现精确的贝叶斯处理，从而实现解析的不确定性量化。
• 拉普拉斯近似提供了一种计算高效的途径，可为预训练的深度神经算子添加不确定性估计，且计算开销极低。
• 在低数据场景下，该方法在全定义域内产生结构化的不确定性，识别出预测可靠性较低的区域。
• 在高数据场景下，不确定性估计成功地将Darcy流问题中模型泛化能力差的尖锐伪影区域精确定位并清晰划分。
• 预测标准差与实际预测误差高度相关，表明不确定性估计具有良好的校准性。
• 该方法能够检测由特定模型缺陷（如ReLU激活函数引起的）引发的故障模式，从而提升科学应用中预测结果的可信度。