[论文解读] Posterior Sampling with Denoising Oracles via Tilted Transport

Joan Bruna, Jiequn Han|arXiv (Cornell University)|Jun 30, 2024

Seismic Imaging and Inversion TechniquesEarth and Planetary Sciences被引用 3

一句话总结

本文提出了一种名为倾斜传输（tilted transport）的新方法，该方法利用线性反问题中对数似然的二次结构以及先验去噪预言机（denoising oracle），将原始后验分布转换为一个‘增强’后验分布，该分布可被严格证明更容易采样。关键贡献在于提出了一个定量条件，使得增强后验分布变为强对数凹分布，从而可通过朗之万动力学实现高效采样。该方法在高斯混合模型、伊辛模型和标量场 𝜑⁴ 模型上得到验证。

ABSTRACT

Score-based diffusion models have significantly advanced high-dimensional data generation across various domains, by learning a denoising oracle (or score) from datasets. From a Bayesian perspective, they offer a realistic modeling of data priors and facilitate solving inverse problems through posterior sampling. Although many heuristic methods have been developed recently for this purpose, they lack the quantitative guarantees needed in many scientific applications. In this work, we introduce the extit{tilted transport} technique, which leverages the quadratic structure of the log-likelihood in linear inverse problems in combination with the prior denoising oracle to transform the original posterior sampling problem into a new `boosted' posterior that is provably easier to sample from. We quantify the conditions under which this boosted posterior is strongly log-concave, highlighting the dependencies on the condition number of the measurement matrix and the signal-to-noise ratio. The resulting posterior sampling scheme is shown to reach the computational threshold predicted for sampling Ising models [Kunisky'23] with a direct analysis, and is further validated on high-dimensional Gaussian mixture models and scalar field $φ^4$ models.

研究动机与目标

• 本文旨在解决科学应用中启发式后验采样方法缺乏定量保证的问题。
• 研究在拥有完美先验去噪预言机的前提下，是否仍可实现高效的后验采样。
• 目标是识别结构性条件——特别是测量矩阵的条件数和信噪比——在这些条件下后验采样可被严格证明是可处理的。
• 本研究旨在弥合通过扩散模型生成先验的严谨方法与反问题中可靠后验采样之间的差距。

提出的方法

• 该方法提出了一种‘倾斜传输’变换，通过先验去噪预言机和对数似然的二次结构对后验进行重加权。
• 通过基于先验的敏感度和测量模型的倾斜，构建了一种新的后验分布，称为‘增强后验’。
• 该变换通过变分原理推导得出，与热半群和福克-普朗克动力学相关联。
• 理论分析采用巴尔基-埃米尔准则（Bakry-Emery criterion），建立了增强后验强对数凹性的充分条件。
• 该方法在变换后的后验上使用朗之万动力学实现，且在推导出的条件下具有收敛性保证。
• 提出了一种迭代版本的倾斜传输，以扩展其在初始强对数凹性范围之外的应用，尽管引入了可控的近似误差。

实验结果

研究问题

• RQ1 当存在完美先验去噪预言机时，是否可在线性反问题中实现高效的后验采样？
• RQ2 在何种条件下，后验分布可被严格证明为强对数凹分布，从而可通过朗之万动力学实现高效采样？
• RQ3 测量矩阵的条件数和信噪比如何影响后验采样的可处理性？
• RQ4 倾斜传输技术能否扩展至病态或非线性反问题，并提供可量化的误差界？
• RQ5 先验分布的敏感度对倾斜传输变换的有效性有何影响？

主要发现

• 当测量矩阵的条件数有界且信噪比足够高时，倾斜传输方法可将原始后验转化为在数学上严格证明为强对数凹的增强后验。
• 在伊辛模型中，该方法达到了 Kunin (2023) 预测的计算阈值，验证了其在典型统计物理模型中的高效性。
• 在高维高斯混合模型（d = 20, 40, 80）中，增强朗之万动力学在所有信噪比（SNR）范围内均显著优于标准朗之万动力学，且 sliced Wasserstein 距离更低。
• 即使在 𝑑′ < 𝑑 的情况下（即测量矩阵存在零特征值），只要非零特征值得到增强，该方法依然有效，表明其对秩亏测量具有鲁棒性。
• 在标量场 𝜑⁴ 模型中，倾斜传输显著加快了朗之万动力学的自相关衰减，表明混合速度更快、松弛时间更短。
• 迭代倾斜传输扩展版本可在初始后验并非强对数凹的区域实现采样，代价是引入可量化的微小近似误差。