[论文解读] Adaptive particle-based approximations of the Gibbs posterior for inverse problems

Zilong Zou, Sayan Mukherjee+2 more|arXiv (Cornell University)|Jul 2, 2019

Probabilistic and Robust Engineering Design参考文献 35被引用 4

一句话总结

本文提出一种基于自适应粒子的序列蒙特卡洛（SMC）方法，结合局部降维基（RB）代理模型，以高效逼近由偏微分方程（PDE）控制的反问题中的吉布斯后验分布。通过使用损失函数而非似然函数，该方法在数据机制未知时仍能实现稳健推断，并在 SMC 演化过程中通过局部自适应、高保真度的 RB 代理模型对损失函数进行近似，从而实现显著的计算节省。

ABSTRACT

In this work, we adopt a general framework based on the Gibbs posterior to update belief distributions for inverse problems governed by partial differential equations (PDEs). The Gibbs posterior formulation is a generalization of standard Bayesian inference that only relies on a loss function connecting the unknown parameters to the data. It is particularly useful when the true data generating mechanism (or noise distribution) is unknown or difficult to specify. The Gibbs posterior coincides with Bayesian updating when a true likelihood function is known and the loss function corresponds to the negative log-likelihood, yet provides subjective inference in more general settings. We employ a sequential Monte Carlo (SMC) approach to approximate the Gibbs posterior using particles. To manage the computational cost of propagating increasing numbers of particles through the loss function, we employ a recently developed local reduced basis method to build an efficient surrogate loss function that is used in the Gibbs update formula in place of the true loss. We derive error bounds for our approximation and propose an adaptive approach to construct the surrogate model in an efficient manner. We demonstrate the efficiency of our approach through several numerical examples.

研究动机与目标

• 解决在似然函数评估昂贵的 PDE 约束反问题中贝叶斯推断的高计算成本问题。
• 通过聚焦于后验支持区域的自适应采样，克服全局精确代理模型效率低下的问题。
• 构建一个框架，结合仅依赖损失函数的吉布斯后验的灵活性与高效的粒子化推断方法。
• 通过避免显式指定似然函数，实现在噪声模型未知或复杂的反问题中可扩展的不确定性量化。
• 通过在后验支持演化过程中顺序地、自适应地构建针对后验的局部降维基模型，实现计算效率的提升。

提出的方法

• 采用序列蒙特卡洛（SMC）框架，迭代演化加权粒子以逼近吉布斯后验分布。
• 使用损失函数（如 l2 损失）定义吉布斯后验，避免对已知似然函数或噪声模型的依赖。
• 为损失函数构建一个在每次 SMC 步骤中基于粒子位置自适应更新的局部降维基（RB）代理模型。
• 采用基于阈值的细化策略来优化局部 RB 模型，其中误差容限设定为当前损失值标准差的 5%。
• 在 SMC 更新过程中，使用局部 RB 代理模型替代完整的 PDE 基损失评估，从而大幅降低每个粒子的计算成本。
• 通过推导 RB 代理近似在 SMC 框架内的理论误差界，确保收敛性和精度。

实验结果

研究问题

• RQ1 自适应的局部降维基模型是否能显著降低在 PDE 约束反问题中逼近吉布斯后验的计算成本？
• RQ2 在噪声模型未知的反问题中，所提出的 SMC-RB 方法在准确性和效率方面与标准 MCMC 方法相比表现如何？
• RQ3 与全局代理模型相比，局部 RB 模型的自适应细化在后验支持区域上的精度提升程度如何？
• RQ4 在复杂反问题中，局部 RB 原子数量如何随噪声水平和参数维度的变化而变化？
• RQ5 所提出的方法是否能在实现数量级加速的同时，保持与基于 MCMC 的推断一致？

主要发现

• 所提方法通过仅在后验支持区域构建局部 RB 代理模型，避免了全局精度要求，实现了显著的计算节省。
• 在分层材料问题中，局部 RB 原子数量随噪声水平增加而上升，反映出后验集中度提高和 SMC 路径变长。
• 在高维包含物问题中，所需 RB 原子数量多于分层问题，表明参数维度增加导致计算成本上升。
• 后验均值估计与 MCMC 结果一致，不确定性量化（标准差）随数据噪声水平（5%、10%、20%）正确增加。
• 采用 5% 的损失标准差作为阈值的自适应 RB 策略保持了高精度，确保了可靠的后验近似且无过拟合。
• 该方法在多个基于 PDE 的反问题中表现出鲁棒性和可扩展性，包括对流-扩散和弹性成像问题，且性能与最先进 MCMC 方法保持一致。