[论文解读] A Metropolis-Hastings algorithm for posterior measures with self-decomposable priors

Bamdad Hosseini|arXiv (Cornell University)|Apr 20, 2018

Medical Imaging Techniques and Applications被引用 1

一句话总结

该论文提出了一种新颖的Metropolis-Hastings算法，通过利用自分解先验，在无限维Hilbert空间中对高度非高斯的后验测度进行采样。该方法提出了Bessel-K先验——一种在无限维空间中推广伽马分布的分布——并利用保持细致平衡的自回归提议核，实现了对稀疏或可压缩参数的高效采样。

ABSTRACT

We introduce a new class of Metropolis-Hastings algorithms for sampling target measures that are absolutely continuous with respect to an underlying self-decomposable prior measure on infinite-dimensional Hilbert spaces. We particularly focus on measures that are highly non-Gaussian and cannot be sampled effectively using conventional algorithms. We utilize the self-decomposability of the prior to construct an autoregressive proposal kernel that preserves the prior measure and satisfies detailed balance. We then introduce an entirely new class of self-decomposable prior measures, called the Bessel-K prior, as a generalization of the gamma density to infinite dimensions. The Bessel-K priors interpolate between well-known priors such as the gamma distribution and Besov priors and can model sparse or compressible parameters. We present example applications of our algorithm in inverse problems ranging from finite-dimensional denoising to deconvolution on $L^2$ .

研究动机与目标

• 开发一类新的Metropolis-Hastings算法，用于处理传统方法难以采样的高度非高斯的后验测度。
• 利用先验测度的自分解性，构建一个保持先验分布并满足细致平衡的提议核。
• 引入Bessel-K先验作为伽马分布在无限维空间中的推广，能够对稀疏或可压缩参数进行建模。
• 在去噪和$L^2$去卷积等具有挑战性的反问题中实现有效采样。
• 为具有非高斯先验的无限维设置提供一个灵活且理论基础坚实的贝叶斯推断框架。

提出的方法

• 利用先验测度的自分解性，构建一个保持先验分布的自回归提议核。
• 在Metropolis-Hastings接受率中采用细致平衡，以确保收敛到目标后验测度。
• 引入Bessel-K先验作为无限维Hilbert空间中的一类新的自分解测度，推广了伽马分布。
• 将Bessel-K先验推导为伽马密度在无限维空间中的自然延伸，与Besov先验存在关联。
• 将该算法应用于反问题，包括有限维去噪和$L^2$去卷积，展示了对非高斯性的鲁棒性。
• 利用自分解测度的结构，确保提议核在计算上可行且理论上有保障。

实验结果

研究问题

• RQ1 如何设计Metropolis-Hastings算法，以在无限维Hilbert空间中高效采样高度非高斯的后验测度？
• RQ2 哪一类自分解先验能够支持在无限维贝叶斯推断中对稀疏或可压缩参数的建模？
• RQ3 能否构建一种新的无限维先验，推广伽马分布，并通过自回归提议实现高效采样？
• RQ4 所提出的算法在实际反问题（如去噪和去卷积）中的表现如何？
• RQ5 在所提出的框架中，哪些理论性质（如细致平衡和先验保持）可以得到保证？

主要发现

• 所提出的Metropolis-Hastings算法成功采样了传统MCMC方法难以处理的高度非高斯后验测度。
• 引入Bessel-K先验作为无限维空间中的一类新的自分解测度，其在伽马先验与Besov先验之间实现插值。
• 自回归提议核保持了先验测度并满足细致平衡，确保了正确的收敛性。
• 该算法在有限维去噪和$L^2$去卷积问题中表现出色，即使在非高斯后验下也具有鲁棒性。
• Bessel-K先验能够对稀疏或可压缩参数进行建模，为现有无限维先验提供了一种灵活的替代方案。
• 该框架为非高斯、无限维设置下的贝叶斯推断提供了一个理论基础坚实且计算上可行的方法。