[论文解读] A Hierarchical Multilevel Markov Chain Monte Carlo Algorithm with Applications to Uncertainty Quantification in Subsurface Flow

Tim Dodwell, C. Ketelsen+2 more|arXiv (Cornell University)|Mar 29, 2013

Markov Chains and Monte Carlo Methods参考文献 21被引用 10

一句话总结

该论文提出了一种分层多级Metropolis-Hastings算法，通过利用空间网格的分层结构，在地下水流问题的贝叶斯不确定性量化中显著降低了计算成本。通过在不同层级上构建并行的马尔可夫链，并采用一种新颖的提议机制以利用粗网格信息，该方法在误差容忍度低于 $\varepsilon = 10^{-2}$ 时，相比标准MCMC将计算成本降低了超过一个数量级，数值结果验证了理论上的性能提升。

ABSTRACT

In this paper we address the problem of the prohibitively large computational cost of existing Markov chain Monte Carlo methods for large--scale applications with high dimensional parameter spaces, e.g. in uncertainty quantification in porous media flow. We propose a new multilevel Metropolis-Hastings algorithm, and give an abstract, problem dependent theorem on the cost of the new multilevel estimator based on a set of simple, verifiable assumptions. For a typical model problem in subsurface flow, we then provide a detailed analysis of these assumptions and show significant gains over the standard Metropolis-Hastings estimator. Numerical experiments confirm the analysis and demonstrate the effectiveness of the method with consistent reductions of more than an order of magnitude in the cost of the multilevel estimator over the standard Metropolis-Hastings algorithm for tolerances $\varepsilon < 10^{-2}$.

研究动机与目标

• 解决标准Metropolis-Hastings MCMC在高维、大规模地下水流问题中计算成本过高的问题。
• 降低对PDE约束贝叶斯推断中占主导地位的似然评估计算负担。
• 开发一种多级MCMC框架，在保持从后验分布精确采样的同时，利用计算层级结构。
• 在可验证假设下建立多级估计器的理论计算成本边界，并通过数值方法进行验证。
• 在具有对数正态随机系数的真实Darcy流动模型中展示显著的效率提升。

提出的方法

• 该方法引入有限元离散化的分层结构，从粗网格到细网格逐步提高PDE解的逼近精度。
• 它在最细层级上构建一个使用新型提议分布的马尔可夫链，同时在较粗层级上使用标准Metropolis-Hastings构建另一个马尔可夫链。
• 其关键创新在于一种分层提议机制，利用较粗层级的链来指导较细层级的提议，从而减少昂贵的似然评估次数。
• 该算法采用延迟接受方法，即在进行精细层级评估之前，先基于粗网格的似然值对提议进行初步接受或拒绝。
• 多级估计器通过计算相邻层级间输出量的差异，利用这些差异具有更低方差和更低计算成本的特性。
• 理论分析在离散化误差收敛速率和似然计算成本满足特定假设的前提下，建立了计算成本的边界。

实验结果

研究问题

• RQ1 能否设计一种多级MCMC框架，以降低高维贝叶斯反问题中地下水流问题的计算成本？
• RQ2 基于较粗层级样本的分层提议是否能显著减少在最细层级上的昂贵似然评估次数？
• RQ3 多级MCMC估计器在何种理论条件下可实现比标准MCMC更低的计算成本？
• RQ4 离散化误差的收敛速率和似然计算成本如何影响多级方法的效率增益？
• RQ5 该方法是否能在实现显著计算节省的同时，保持对后验分布的精确采样？

主要发现

• 对于误差容忍度 $\varepsilon < 10^{-2}$ 的情况，多级MCMC估计器相比标准MCMC将计算成本降低了超过一个数量级。
• 在典型的Darcy流动问题中，该方法仅需约562次最细层级的PDE求解，而标准MCMC则需约 $4 \times 10^6$ 次才能达到相同的误差容忍度。
• 多级差异估计器的方差收敛速率接近 $\mathcal{O}(h^2)$，支持了理论假设。
• 多级拒绝概率的收敛速度略快于 $\mathcal{O}(h)$，表明理论边界可能偏保守。
• 递归独立采样策略在标准MCMC中也提升了效率，表明该方法具有超越多级框架的广泛适用性。
• 由于在较粗层级上混合速度更快且自相关时间更短，该方法提供了有效的预烧尽策略。