[论文解读] A deep surrogate approach to efficient Bayesian inversion in PDE and integral equation models

Teo Deveney, Eike H. Müller+1 more|arXiv (Cornell University)|Oct 3, 2019

Probabilistic and Robust Engineering Design参考文献 32被引用 7

一句话总结

本文提出一种基于深度学习的代理模型，直接使用神经网络近似参数化PDE和积分方程的解，从而实现通过马尔可夫链蒙特卡洛（MCMC）方法进行高效的贝叶斯反演。该方法在传统有限差分MCMC的基础上实现了数量级的加速，同时保持了高精度，尤其在经典方法因维度灾难而失效的高维参数空间中表现优异。

ABSTRACT

We investigate a deep learning approach to efficiently perform Bayesian inference in partial differential equation (PDE) and integral equation models over potentially high-dimensional parameter spaces. The contributions of this paper are two-fold; the first is the introduction of a neural network approach to approximating the solutions of Fredholm and Volterra integral equations of the first and second kind. The second is the development of a new, efficient deep learning-based method for Bayesian inversion applied to problems that can be described by PDEs or integral equations. To achieve this we introduce a surrogate model, and demonstrate how this allows efficient sampling from a Bayesian posterior distribution in which the likelihood depends on the solutions of PDEs or integral equations. Our method relies on the direct approximation of parametric solutions by neural networks, without need of traditional numerical solves. This deep learning approach allows the accurate and efficient approximation of parametric solutions in significantly higher dimensions than is possible using classical discretisation schemes. Since the approximated solutions can be cheaply evaluated, the solutions of Bayesian inverse problems over large parameter spaces are efficient using Markov chain Monte Carlo. We demonstrate the performance of our method using two real-world examples; these include Bayesian inference in the PDE and integral equation case for an example from electrochemistry, and Bayesian inference of a function-valued heat-transfer parameter with applications in aviation.

研究动机与目标

• 开发一种高效的深度学习方法，用于在高维参数空间中求解参数化PDE和积分方程。
• 通过构建可微分、解析的代理模型，绕过传统数值求解，实现高效的贝叶斯推断。
• 克服贝叶斯反问题中因重复前向求解计算不可行而导致的维度灾难问题，尤其在传统方法失效的高维空间中。
• 在病态反问题中提供准确的不确定性量化和正则化，这与缺乏置信度估计的标准深度学习最小化方法形成对比。
• 将基于神经网络的求解器从PDE扩展到积分方程，包括第一类和第二类的弗雷德霍姆（Fredholm）与沃尔泰拉（Volterra）类型。

提出的方法

• 采用双神经网络架构：一个用于近似积分方程的解，另一个用于近似积分项，两者同时训练。
• 该方法通过最小化复合损失函数来实现，该损失函数结合了方程残差误差、数据保真度以及边界/初始条件的强制满足。
• 代理模型在整个参数空间上进行训练，使得对于任意参数值均可直接评估解，而无需重新求解。
• 训练后的代理模型被用作MCMC采样中快速、可微分的前向模型，以实现贝叶斯后验推断。
• 使用小批量随机梯度下降来优化网络权重和损失函数中的多项式系数。
• 通过将参数空间嵌入采样域，将该方法扩展至PDE问题，从而通过深度代理模型实现参数化解的近似。

实验结果

研究问题

• RQ1 深度神经网络能否在不依赖传统求积或配点法的前提下，直接近似包括弗雷德霍姆（Fredholm）和沃尔泰拉（Volterra）类型的积分方程的参数化解？
• RQ2 PDE和积分方程的深度代理模型能否在高维参数空间中实现贝叶斯反问题的高效MCMC采样？
• RQ3 在高维设置下，深度代理MCMC方法的精度和计算效率与传统有限差分MCMC相比如何？
• RQ4 与标准深度学习最小化方法相比，代理模型在病态反问题中提供可靠不确定性量化的程度如何？
• RQ5 代理模型能否被训练为直接满足控制方程和边界条件，从而获得比基于插值的代理模型更精确的解？

主要发现

• 与传统有限差分MCMC相比，深度代理模型实现了数个数量级的采样加速，且精度相当。
• 该方法成功求解了基于PDE和积分方程的贝叶斯反问题，包括一个真实的电化学案例和航空领域中的函数值热传导参数反演。
• 代理模型通过贝叶斯后验采样提供了准确的不确定性量化，而标准深度学习方法则无法提供置信度估计。
• 基于神经网络的积分方程求解方法准确且稳健，在测试基准中优于传统的求积法求解器。
• 代理模型具有可微分性和解析性，可与基于梯度的MCMC采样器集成，并为未来开发专用转移核提供可能。
• 该方法克服了维度灾难，使得在经典方法失效的参数空间中求解贝叶斯反问题成为可能。