[论文解读] Conditional score-based diffusion models for Bayesian inference in infinite dimensions

Lorenzo Baldassari, Ali Siahkoohi+3 more|arXiv (Cornell University)|May 28, 2023

Statistical Methods and Inference被引用 7

一句话总结

本文提出了一种理论基础坚实的条件得分扩散模型（SDM），用于无限维函数空间中的贝叶斯推断，实现了离散化不变的后验抽样。通过将条件去噪估计器扩展至无限维空间，该方法避免了昂贵的前向算子计算，并在大规模地震成像问题中展示了精确的不确定性量化。

ABSTRACT

Since their initial introduction, score-based diffusion models (SDMs) have been successfully applied to solve a variety of linear inverse problems in finite-dimensional vector spaces due to their ability to efficiently approximate the posterior distribution. However, using SDMs for inverse problems in infinite-dimensional function spaces has only been addressed recently, primarily through methods that learn the unconditional score. While this approach is advantageous for some inverse problems, it is mostly heuristic and involves numerous computationally costly forward operator evaluations during posterior sampling. To address these limitations, we propose a theoretically grounded method for sampling from the posterior of infinite-dimensional Bayesian linear inverse problems based on amortized conditional SDMs. In particular, we prove that one of the most successful approaches for estimating the conditional score in finite dimensions - the conditional denoising estimator - can also be applied in infinite dimensions. A significant part of our analysis is dedicated to demonstrating that extending infinite-dimensional SDMs to the conditional setting requires careful consideration, as the conditional score typically blows up for small times, contrarily to the unconditional score. We conclude by presenting stylized and large-scale numerical examples that validate our approach, offer additional insights, and demonstrate that our method enables large-scale, discretization-invariant Bayesian inference.

研究动机与目标

• 为解决现有得分扩散模型在无限维贝叶斯逆问题中的局限性，这些模型依赖于无条件得分，且计算成本高昂。
• 建立一个在无限维函数空间中条件得分估计的理论严谨框架，确保稳定性和准确性。
• 通过直接在函数空间中建模后验分布，实现大规模、离散化不变的贝叶斯推断。
• 在真实、高维的逆问题（如地震成像）上验证该方法，实现精确的不确定性量化。

提出的方法

• 该方法提出一种条件得分扩散模型（SDM），其中反向时间SDE使用来自条件去噪估计器的条件得分，该估计器已扩展至无限维希尔伯特空间。
• 条件得分被定义为给定观测数据的后验分布对数密度的梯度，确保反向过程能生成来自真实后验的样本。
• 理论分析证明，尽管在小时间点可能存在发散问题，条件得分在无限维设定下仍保持良好定义且有界。
• 该方法利用傅里叶神经算子（FNO）高效地将低维数据（如伴随Born算子输出）映射至后验均值和不确定性估计。
• 通过时间反向SDE执行后验抽样，漂移项由学习到的条件得分引导，从而实现高质量样本生成。
• 该方法在最终推理阶段之前避免对函数空间进行离散化，遵循安德鲁·斯图尔特关于最小化离散化影响的原则。

实验结果

研究问题

• RQ1 在有限维SDM中表现成功的条件去噪估计器，能否在理论上严格扩展至无限维函数空间？
• RQ2 在无限维设定下，条件得分的行为与无条件得分有何不同，特别是在小时间范围附近？
• RQ3 条件SDM能否在大规模、无限维的逆问题（如地震成像）中实现准确且稳定的后验抽样？
• RQ4 该方法能否提供与实际重建误差和物理特征（如反射界面不连续性）相关联的可靠不确定性量化？

主要发现

• 条件得分扩散模型成功在无限维函数空间中生成后验样本，反向过程收敛至真实后验分布。
• 该方法在抽样过程中避免了重复的前向算子计算，与启发式方法相比显著降低了计算成本。
• 逐点标准差估计与重建误差高度相关，证实了该方法能准确量化不确定性。
• 归一化不确定性图突出了反射界面起始与终止区域以及不连续性（如断层）附近的高不确定性区域，与物理预期一致。
• 垂直剖面显示不确定性随深度增加，且99%置信区间始终包含真实值，验证了不确定性估计的可靠性。
• 该方法实现了离散化不变的推理，如在地震成像实验中不同网格分辨率下性能一致所证明。