[论文解读] A Gibbs posterior sampler for inverse problem based on prior diffusion model

Jean‐François Giovannelli|arXiv (Cornell University)|Feb 11, 2026

Markov Chains and Monte Carlo Methods被引用 0

一句话总结

引入 Gibbs-Diffusion Posterior Sampling (G-DPS) 算法以在线性反问题中对扩散先验为基础的后验进行采样，在实际意义上具有收敛性保证，并在 MNIST 基于数值验证中得到支持。

ABSTRACT

This paper addresses the issue of inversion in cases where (1) the observation system is modeled by a linear transformation and additive noise, (2) the problem is ill-posed and regularization is introduced in a Bayesian framework by an a prior density, and (3) the latter is modeled by a diffusion process adjusted on an available large set of examples. In this context, it is known that the issue of posterior sampling is a thorny one. This paper introduces a Gibbs algorithm. It appears that this avenue has not been explored, and we show that this approach is particularly effective and remarkably simple. In addition, it offers a guarantee of convergence in a clearly identified situation. The results are clearly confirmed by numerical simulations.

研究动机与目标

• 通过从大量样本集合中学习的扩散先验来解决病态的线性反问题。
• 开发一个 Gibbs 采样方案以从潜在变量与观测变量的联合后验中抽样。
• 利用前向与后向扩散模型获得可处理的高斯条件分布。
• 通过数值实验展示计算效率与不确定性量化。

提出的方法

• 将前向问题建模为 y = H x0 + e，其中噪声为高斯噪声。
• 通过前向 p0:T+ 与后向 p0:T- Markov 过程及其高斯跃迁来表示扩散先验。
• 学习神经去噪器 mu_t^theta 以定义后向跃迁，并通过最小化 KL 距离（扩散对齐）来对齐前向/后向联合。
• 构建分块 Gibbs 采样器，对 x0 与 x1:T 的条件分布进行更新，均为高斯且具有闭式均值/精度。
• 从 N(0, I) 采样 x_T，并对 t = T-1,...,0 递归地从 N(x_t; mu_t^theta(x_{t+1}), v_t^- I) 采样 x_t。
• 在傅里叶域使用基于 FFT 的高斯条件分布计算，并采用对角协方差以提高效率。
• 使用祖先采样生成前向/后向联合，从而实现实际的后验采样（G-DPS）。

实验结果

研究问题

• RQ1 Gibbs 采样方案是否能在线性反问题中高效地从基于扩散先验的后验中抽样？
• RQ2 前向与后向扩散模型是否能产生高斯、可处理的条件分布，适合简单采样？
• RQ3 G-DPS 在图像去卷积任务上的计算效率与可扩展性如何？
• RQ4 对后验进行采样是否能实现可靠的不确定性量化（后验均值与可信区间）在病态反问题中？
• RQ5 是否对提出的 Gibbs 方案存在收敛性保证或实际的收敛行为？

主要发现

Pixel 1	Pixel 2	Pixel 3
True	-0.00142	0.55092	0.61704
Estimate	0.00122	0.61773	0.69163
Error	0.0026	0.0668	0.0746
PSD	0.01020	0.05730	0.05719
± 2PSD	✓	✓	✓

• G-DPS 为所有步骤产生高斯条件分布，使采样变得直接可行。
• 该采样器在经验上收敛，链在相对较少的迭代内稳定（例如某些像素大约 10 次左右，对其他像素较慢）。
• 在基于 MNIST 的去卷积 toy 问题上的数值实验表明，估计的 x0 与真实值高度一致，相对于测量值能有效减小模糊和噪声。
• 后验不确定性可量化：后验均值近似 MMSE，PSD 提供可信的不确定区间，其中在测试案例中真实值落在两个 PSD 区间内。
• 该方法在计算效率方面具有显著优势：一次完整运行 1030 次迭代约耗时 53 秒，大部分时间花在神经网络评估上；可进行批处理/GPU 并行化。
• 该方法为扩散先验反问题提供了一个连贯的贝叶斯框架，兼具估计与不确定性量化。