[论文解读] Deep Markov Chain Monte Carlo

Babak Shahbaba, Luis Martinez Lomeli+2 more|arXiv (Cornell University)|Oct 13, 2019

Markov Chains and Monte Carlo Methods参考文献 30被引用 6

一句话总结

本文提出深度马尔可夫链蒙特卡洛（Deep MCMC），一种计算高效的贝叶斯推断方法，通过自编码器将高维参数空间映射到低维潜在空间，在该空间中执行哈密顿蒙特卡洛（HMC）采样。该方法通过在低维空间中探索实现更快采样，同时通过体积校正的梅特罗波利斯-黑斯廷斯接受步骤保持精度，实证结果表明在高维问题上显著提升了计算效率。

ABSTRACT

We propose a new computationally efficient sampling scheme for Bayesian inference involving high dimensional probability distributions. Our method maps the original parameter space into a low-dimensional latent space, explores the latent space to generate samples, and maps these samples back to the original space for inference. While our method can be used in conjunction with any dimension reduction technique to obtain the latent space, and any standard sampling algorithm to explore the low-dimensional space, here we specifically use a combination of auto-encoders (for dimensionality reduction) and Hamiltonian Monte Carlo (HMC, for sampling). To this end, we first run an HMC to generate some initial samples from the original parameter space, and then use these samples to train an auto-encoder. Next, starting with an initial state, we use the encoding part of the autoencoder to map the initial state to a point in the low-dimensional latent space. Using another HMC, this point is then treated as an initial state in the latent space to generate a new state, which is then mapped to the original space using the decoding part of the auto-encoder. The resulting point can be treated as a Metropolis-Hasting (MH) proposal, which is either accepted or rejected. While the induced dynamics in the parameter space is no longer Hamiltonian, it remains time reversible, and the Markov chain could still converge to the canonical distribution using a volume correction term. Dropping the volume correction step results in convergence to an approximate but reasonably accurate distribution. The empirical results based on several high-dimensional problems show that our method could substantially reduce the computational cost of Bayesian inference.

研究动机与目标

• 解决传统 MCMC 方法在高维贝叶斯推断中计算效率低下的问题。
• 利用高维参数空间中的低维结构实现更快采样。
• 开发一种结合降维与哈密顿动力学的可扩展采样框架。
• 通过平衡精度与计算速度，为 MCMC 和变分贝叶斯提供实用替代方案。
• 在大规模数据场景下实现对复杂后验分布的高效探索。

提出的方法

• 该方法使用训练好的自编码器将原始高维参数空间映射到低维潜在空间。
• 使用原始空间中的一组初始样本训练自编码器的编码器和解码器组件。
• 编码器将原始空间中的初始状态映射到潜在空间中的一个点，该点作为 HMC 采样的起点。
• 在潜在空间中应用 HMC 生成新状态，然后使用自编码器的解码器将这些状态解码回原始空间。
• 将解码后的点用作梅特罗波利斯-黑斯廷斯提议，其接受概率通过校正非线性变换引起的体积变化。
• 当应用体积校正时，该算法保持细致平衡并收敛至真实后验分布；若为追求速度而省略体积校正，则收敛至近似后验分布。

实验结果

研究问题

• RQ1 通过自编码器进行降维是否能提升高维贝叶斯模型中 MCMC 采样的效率？
• RQ2 在原始空间中诱导的动力学与标准 HMC 相比，在混合性和收敛性方面表现如何？
• RQ3 省略体积校正项对采样过程的精度和计算成本有何影响？
• RQ4 潜在空间表示在多大程度上能捕捉复杂模型中后验分布的本质结构？
• RQ5 在真实和模拟的高维问题中，该方法与标准 MCMC 和变分贝叶斯相比性能如何？

主要发现

• 所提出的 Deep MCMC 方法通过在低维潜在空间中执行 HMC，显著降低了高维贝叶斯推断的计算成本。
• 当应用体积校正时，该方法确保了细致平衡并收敛至真实后验分布。
• 省略体积校正步骤会导致收敛至近似后验分布，但其精度仍较合理，且计算效率更高。
• 在模拟和真实数据上的实证结果表明，该方法相比标准 MCMC 方法实现了显著的速度提升。
• 该方法有效利用了高维参数空间中的低维结构，实现了更快的混合速度和更高效的探索。
• 使用自编码器学习潜在空间提供了一种灵活且数据驱动的 MCMC 采样降维方法。