[论文解读] Divide-and-Conquer Posterior Sampling for Denoising Diffusion Priors

Yazid Janati, Moufad, Badr+3 more|arXiv (Cornell University)|Mar 18, 2024

Seismic Imaging and Inversion TechniquesEarth and Planetary Sciences被引用 3

一句话总结

本文提出了一种名为分治后验采样（Divide-and-Conquer Posterior Sampling, DCPS）的新方法，用于在使用去噪扩散模型（Denoising Diffusion Model, DDM）先验的贝叶斯线性反问题中进行后验分布采样。通过采用分治策略，将后验采样任务分解为一系列更简单的中间问题，并结合变分推断与朗之万动力学，DCPS 在无需任务特定调优的情况下，在图像恢复任务中实现了更低的近似误差和更优的重建质量。

ABSTRACT

Recent advancements in solving Bayesian inverse problems have spotlighted denoising diffusion models (DDMs) as effective priors. Although these have great potential, DDM priors yield complex posterior distributions that are challenging to sample. Existing approaches to posterior sampling in this context address this problem either by retraining model-specific components, leading to stiff and cumbersome methods, or by introducing approximations with uncontrolled errors that affect the accuracy of the produced samples. We present an innovative framework, divide-and-conquer posterior sampling, which leverages the inherent structure of DDMs to construct a sequence of intermediate posteriors that guide the produced samples to the target posterior. Our method significantly reduces the approximation error associated with current techniques without the need for retraining. We demonstrate the versatility and effectiveness of our approach for a wide range of Bayesian inverse problems. The code is available at \url{https://github.com/Badr-MOUFAD/dcps}

研究动机与目标

• 解决在使用复杂深度生成先验（特别是去噪扩散模型，DDMs）时，贝叶斯反问题中后验采样的挑战。
• 克服现有方法依赖对漂移项近似所带来的局限性，这些方法通常导致高近似误差并对外部超参数敏感。
• 开发一种原理严谨、可扩展的采样框架，利用 DDM 先验的结构，将后验分解为一系列更简单的中间问题。
• 在图像恢复任务（如超分辨率、图像修复和着色）中实现高质量重建，且无需任务特定的超参数调优。
• 提出一种理论基础扎实的方法，通过增加分解层级数 $ L $ 缩短费曼-卡普模型的长度，从而降低近似误差。

提出的方法

• 引入一系列伪后验 $ q_{k_ au}^y $，形成从标准高斯分布到目标后验的平滑路径，参数化于离散时间网格 $ \tau = 0, \dots, L $。
• 对于每个步骤 $ \ell \in \llbracket 0, L-1 \rrbracket $，将中间后验 $ q_{k_{\ell}}^y $ 定义为具有非时齐马尔可夫转移核的费曼–卡普模型。
• 使用高斯变分近似 $ q_{k_{\ell+1}}^{y,\ell} $ 近似每个中间分布的逆向核，初始化来自 $ q_{k_{\ell+1}}^y $ 的样本。
• 通过具有 $ G $ 步的未调整朗之万算法从 $ q_{k_{\ell+1}}^{y,\ell} $ 中采样，确保对中间后验的高效探索。
• 采用一种反向采样策略，结合朗之万动力学与非时齐马尔可夫链转移，将样本从 $ q_{k_{\ell+1}}^y $ 传播至 $ q_{k_{\ell}}^y $，从而最小化近似误差。
• 利用理论结果表明，减小 $ k_{\ell+1} - k_\ell $ 的长度（即增加 $ L $）可降低高斯近似误差，从而实现高保真度的后验采样。

Figure 2: Illustration of DCPS with $L=3$ . Red dots refer to the distribution path ( 4.1 ) and $(\mathrm{L})$ denotes Langevin steps targeting $\smash{p^{y,\ell-1}_{{k_{\ell}}}}$ initialized at approximate samples from $\smash{p^{y}_{{k_{\ell}}}}$ . Arrows starting from $\smash{p^{y,\ell-1}_{{k_{\e

实验结果

研究问题

• RQ1 与现有漂移项近似方法相比，分治策略是否能降低 DDM 先验后验采样中的近似误差？
• RQ2 在所提框架中，中间费曼–卡普模型的长度如何影响后验近似的准确性？
• RQ3 所提方法是否能在无需任务特定超参数调优的情况下实现高质量的图像恢复重建？
• RQ4 与 DPS 和 DDRM 等现有方法相比，该方法在样本多样性与与观测图像区域的一致性方面表现如何？
• RQ5 变分近似与朗之万动力学对采样链的混合性与收敛性有何影响？

主要发现

• DCPS 在图像超分辨率（4× 和 16×）、外推（outpainting）、图像修复和着色任务中均实现了最先进水平的重建质量，生成的样本清晰、连贯且具有多样性。
• 在高斯混合实验中，DCPS 使用 $ L=50 $ 时，SW 距离达到 $ 1.95/2.70 \pm 2.28 $，显著优于基线方法，在后验近似精度方面表现更优。
• DCPS 使用 $ L=500 $ 时，SW 距离降低至 $ 1.26/2.59 \pm 2.83 $，表明增加分解层级数可进一步降低近似误差。
• 与 DPS 不同，后者常无法保持与观测图像区域的一致性并生成不一致的样本，DCPS 在所有任务中均生成了连贯的重建结果。
• DCPS 无需任务特定或数据特定的超参数调优，而 DPS 则需在不同数据集和任务上进行大量调优。
• DDRM 始终生成模糊且多样性低的样本，表明存在模式崩溃现象，而 DCPS 在无需任何调优的情况下保持了高多样性与清晰度。