[论文解读] Accelerating proximal Markov chain Monte Carlo by using an explicit stabilised method

Luis Felipe Vargas, Marcelo Pereyra+1 more|Edinburgh Research Explorer|Aug 23, 2019

Medical Imaging Techniques and Applications参考文献 51被引用 5

一句话总结

本文提出了一种新颖的近端马尔可夫链蒙特卡洛（MCMC）方法，通过使用显式稳定化的正交龙格-库塔-切比雪夫（ROCK）格式替代标准的欧拉-马鲁亚马（Euler-Maruyama）时间离散化，加速了Moreau-Yosida正则化朗之万扩散过程的收敛。在相同计算成本下，该方法在总变差（total-variation）和ℓ₁先验的成像问题中，相较于基于欧拉法的近端MCMC，实现了显著更快的混合速度、更高的有效样本量以及更低的均方误差。

ABSTRACT

We present a highly efficient proximal Markov chain Monte Carlo methodology to perform Bayesian computation in imaging problems. Similarly to previous proximal Monte Carlo approaches, the proposed method is derived from an approximation of the Langevin diffusion. However, instead of the conventional Euler-Maruyama approximation that underpins existing proximal Monte Carlo methods, here we use a state-of-the-art orthogonal Runge-Kutta-Chebyshev stochastic approximation that combines several gradient evaluations to significantly accelerate its convergence speed, similarly to accelerated gradient optimisation methods. The proposed methodology is demonstrated via a range of numerical experiments, including non-blind image deconvolution, hyperspectral unmixing, and tomographic reconstruction, with total-variation and $\ell_1$-type priors. Comparisons with Euler-type proximal Monte Carlo methods confirm that the Markov chains generated with our method exhibit significantly faster convergence speeds, achieve larger effective sample sizes, and produce lower mean square estimation errors at equal computational budget.

研究动机与目标

• 提升高维、对数凹后验分布下近端MCMC方法在贝叶斯成像问题中的计算效率。
• 通过利用先进的随机数值积分方法，解决传统基于欧拉-马鲁亚马的近端MCMC收敛缓慢的问题。
• 在去卷积、解混和重建等具有挑战性的成像任务中，实现更快的采样速度和更高的估计精度。
• 通过Wasserstein距离分析，从理论上和实证上证明该方法具有更优的收敛速度和采样效率。
• 将近端MCMC的适用范围扩展至需要不确定性量化的复杂成像问题。

提出的方法

• 该方法用最先进的正交龙格-库塔-切比雪夫（ROCK）随机积分器替代了欧拉-马鲁亚马近似，用于朗之万扩散过程。
• 将ROCK格式应用于Moreau-Yosida正则化未调整朗之万算法，通过每步内多次梯度评估提升稳定性与收敛性。
• 该方法基于随机数值分析，采用一种显式稳定化方法，相较于显式欧拉法，能更有效地处理扩散过程中的刚性问题。
• 针对高斯目标分布，理论分析了Wasserstein距离下的收敛性，并推导出近似误差的显式界。
• 通过分量分析将方法扩展至高维高斯模型，实现收敛速率的可计算比较。
• ROCK格式的参数选择基于最小化稳定性函数的谱半径，以优化误差项的衰减。

实验结果

研究问题

• RQ1 像ROCK这样的显式稳定化积分器是否能显著加速贝叶斯成像中近端MCMC的采样？
• RQ2 在有效样本量和均方误差方面，ROCK基近端MCMC相较于欧拉-马鲁亚马基方法的收敛速度如何？
• RQ3 所提方法在高斯目标分布下，Wasserstein距离中的理论收敛速率是多少？
• RQ4 该方法在非线性成像问题（如非盲去卷积和断层扫描重建）中，对采样效率的提升程度如何？
• RQ5 ROCK格式能否在保持几何遍历性和后验精度的前提下，被有效适配至近端MCMC？

主要发现

• 所提出的ROCK基近端MCMC方法在所有测试的成像问题中，均显著快于基于欧拉-马鲁亚马的对应方法。
• 在相同计算成本下，该方法产生更高的有效样本量，表明混合性能更优，后验估计更可靠。
• 在图像去卷积、高光谱解混和断层扫描重建中，均方误差持续更低，证明了其更高的估计精度。
• 理论分析表明，目标分布与马尔可夫链分布之间的Wasserstein距离衰减速率由ROCK稳定性函数的谱半径决定，该值小于欧拉-马鲁亚马方法。
• 即使在病态条件问题中，该方法仍保持稳定与高效，其收敛界依赖于条件数和步长选择。
• 通过条件数和稳定性约束进行参数调优，可实现误差项的最优衰减，证实了该方法的鲁棒性与可扩展性。