[论文解读] Efficient Bayesian computation by proximal Markov chain Monte Carlo: when Langevin meets Moreau

Alain Durmus, Éric Moulines+1 more|arXiv (Cornell University)|Dec 22, 2016

Medical Imaging Techniques and Applications参考文献 27被引用 8

一句话总结

本文提出了一种新颖的近端马尔可夫链蒙特卡洛（MCMC）方法——MYULA，该方法结合了朗之万动力学与莫雷- Yoshida核正则化，实现了在高维、非光滑、对数凹像质模型中高效进行贝叶斯推断。通过利用近端算子对目标密度进行平滑化，MYULA实现了快速收敛与计算效率，其在准确性和速度上均优于现有方法（如Px-MALA），并支持高级贝叶斯分析，如不确定性量化与模型选择。

ABSTRACT

Modern imaging methods rely strongly on Bayesian inference techniques to solve challenging imaging problems. Currently, the predominant Bayesian computation approach is convex optimisation, which scales very efficiently to high dimensional image models and delivers accurate point estimation results. However, in order to perform more complex analyses, for example image uncertainty quantification or model selection, it is necessary to use more computationally intensive Bayesian computation techniques such as Markov chain Monte Carlo methods. This paper presents a new and highly efficient Markov chain Monte Carlo methodology to perform Bayesian computation for high dimensional models that are log-concave and non-smooth, a class of models that is central in imaging sciences. The methodology is based on a regularised unadjusted Langevin algorithm that exploits tools from convex analysis, namely Moreau-Yoshida envelopes and proximal operators, to construct Markov chains with favourable convergence properties. In addition to scaling efficiently to high dimensions, the method is straightforward to apply to models that are currently solved by using proximal optimisation algorithms. We provide a detailed theoretical analysis of the proposed methodology, including asymptotic and non-asymptotic convergence results with easily verifiable conditions, and explicit bounds on the convergence rates. The proposed methodology is demonstrated with four experiments related to image deconvolution and tomographic reconstruction with total-variation and $\ell_1$ priors, where we conduct a range of challenging Bayesian analyses related to uncertainty quantification, hypothesis testing, and model selection in the absence of ground truth.

研究动机与目标

• 解决现有MCMC方法在高维、非光滑贝叶斯成像问题中计算效率低下且缺乏理论保证的问题。
• 通过支持不确定性量化与模型选择等高级分析，弥合高效凸优化与计算密集型贝叶斯推断之间的差距。
• 开发一种与现有近端优化算法（特别是使用前向-后向分裂法的算法）兼容的通用MCMC框架。
• 提供严格的非渐近收敛保证，明确依赖于模型维度与问题参数。
• 在涉及总变差与ℓ₁先验的真实世界成像反问题中，展示该方法的有效性，包括不确定性量化与模型比较。

提出的方法

• 该方法采用类似Moreau-Yoshida的正则化方法，构建目标后验密度的平滑、对数凹近似，从而通过未调整朗之万算法（ULA）实现高效采样。
• 它利用凸分析中的近端算子处理成像先验中常见的非光滑正则化项（如总变差与ℓ₁范数）。
• 由此产生的算法称为MYULA（Moreau-Yoshida未调整朗之万算法），在正则化势能上使用基于梯度的更新，确保在高维空间中的计算可行性。
• 利用随机逼近与马尔可夫链理论的工具分析收敛性，得到与目标分布之间Wasserstein距离的非渐近界。
• 该方法设计为可直接应用于任何可通过前向-后向分裂求解的模型，因此与现有成像优化流程具有广泛兼容性。
• 采用自适应步长策略以维持约45%的目标接受率，从而在实际中提升采样效率。

实验结果

研究问题

• RQ1 能否设计一种近端MCMC方法，以高效采样来自成像反问题中非光滑、高维、对数凹后验分布的样本？
• RQ2 如何利用Moreau-Yoshida包络对目标密度进行正则化，以在保持原问题结构的同时实现高效采样？
• RQ3 所得到算法的非渐近收敛特性是什么？其随维度与问题参数的缩放行为如何？
• RQ4 在具有挑战性的成像场景中，该方法与现有MCMC方法（如Px-MALA）相比，在准确性和计算效率方面表现如何？
• RQ5 在缺乏真实标签的情况下，该方法能否支持高级贝叶斯分析（如不确定性量化与模型选择）？

主要发现

• 在显微镜实验中，MYULA相较于Px-MALA实现了约一个数量级的计算加速，样本数为$ n = 10^5 $。
• 在估计阈值$ \eta_\alpha $时，MYULA相对于Px-MALA的近似误差小于0.1%，表明其具有极高精度。
• 不确定性量化显示，分子位置的后验不确定性为垂直方向$ \pm 78nm $，水平方向$ \pm 125nm $，与实验精度（约80nm）高度一致。
• 使用SALSA算法，MAP估计$ \hat{x}_{MAP} $在2.3秒内完成，证明了该方法与快速优化流水线的兼容性。
• 推导出明确依赖于模型维度的非渐近收敛界，为实际应用提供了理论保证。
• 该方法成功在无真实标签的真实显微镜数据集中实现了贝叶斯不确定性量化与模型比较。