[论文解读] Local-Global MCMC kernels: the best of both worlds

Sergey Samsonov, Evgeny Lagutin+4 more|arXiv (Cornell University)|Nov 4, 2021

Markov Chains and Monte Carlo Methods被引用 4

一句话总结

本文提出 Ex²MCMC，一种混合马尔可夫链蒙特卡洛方法，结合局部（如 MALA、HMC）和全局（i-SIR）采样器，以在高维和重尾分布中实现更快混合与更好探索。该方法在无需全局提议均匀适应的条件下，证明了 V-统一几何遍历性，并引入了 FlEx²MCMC，一种在采样过程中训练归一化流的自适应版本，其在基于 GAN 的能量模型上表现出色。

ABSTRACT

Recent works leveraging learning to enhance sampling have shown promising results, in particular by designing effective non-local moves and global proposals. However, learning accuracy is inevitably limited in regions where little data is available such as in the tails of distributions as well as in high-dimensional problems. In the present paper we study an Explore-Exploit Markov chain Monte Carlo strategy ($Ex^2MCMC$) that combines local and global samplers showing that it enjoys the advantages of both approaches. We prove $V$-uniform geometric ergodicity of $Ex^2MCMC$ without requiring a uniform adaptation of the global sampler to the target distribution. We also compute explicit bounds on the mixing rate of the Explore-Exploit strategy under realistic conditions. Moreover, we also analyze an adaptive version of the strategy ($FlEx^2MCMC$) where a normalizing flow is trained while sampling to serve as a proposal for global moves. We illustrate the efficiency of $Ex^2MCMC$ and its adaptive version on classical sampling benchmarks as well as in sampling high-dimensional distributions defined by Generative Adversarial Networks seen as Energy Based Models. We provide the code to reproduce the experiments at the link: https://github.com/svsamsonov/ex2mcmc_new.

研究动机与目标

• 为解决在高维和重尾分布中使用 MCMC 时混合缓慢与探索不足的问题。
• 结合局部与全局 MCMC 核心，以利用各自优势：局部方法在尾部实现精确采样，全局方法实现快速探索。
• 为混合策略提供收敛性与混合速度的理论保证，且无需对全局提议进行均匀适应。
• 开发并评估一种自适应版本 FlEx²MCMC，其中在采样过程中实时训练归一化流以改进全局提议。
• 在具有挑战性的基准测试中展示该方法的有效性，包括将 GAN 作为能量模型使用。

提出的方法

• 提出 Ex²MCMC，一种交替使用局部 MCMC 核心（如 MALA、HMC）和全局 i-SIR 核心以生成独立并行提议的马尔可夫链。
• 利用 i-SIR 核心在每次迭代中生成多个全局提议，提升并行化与探索效率。
• 采用再生核（如 3 步 MALA）对样本进行精炼，以降低在高维或重尾区域的拒绝率。
• 提出 FlEx²MCMC，一种自适应变体，其中在采样过程中在线训练归一化流以优化全局提议分布。
• 在温和条件下，通过 V-统一几何遍历性建立理论收敛性，即使全局提议未被均匀良好适应亦成立。
• 使用迭代重要性重采样以维持提议质量，并确保在高维空间中的鲁棒性。

实验结果

研究问题

• RQ1 将局部与全局 MCMC 核心结合，是否能显著改善在高维和重尾分布中的混合时间与探索能力？
• RQ2 在何种条件下，混合 Ex²MCMC 策略可在无需全局提议均匀适应的前提下实现 V-统一几何遍历性？
• RQ3 在复杂的能量基模型（如 GAN）上，Ex²MCMC 与纯局部或纯全局 MCMC 方法相比性能如何？
• RQ4 一种如 FlEx²MCMC 的自适应策略，其中在采样过程中训练归一化流，是否能提升提议质量与采样效率？
• RQ5 在从训练好的 GAN 采样时，该混合策略对 FID 和 Inception Score 等指标的实证影响如何？

主要发现

• Ex²MCMC 在远比仅使用全局 i-SIR 核心所需的更温和条件下即实现 V-统一几何遍历性，从而在无需全局提议均匀适应的情况下实现稳健收敛。
• 该方法在混合速度与探索能力上优于 MALA 或 i-SIR 单独使用，SN-GAN 与 DC-GAN 实验中的轨迹显示其既能实现模式跳跃，也能在低密度区域实现精确采样。
• 在 DC-GAN 上，FlEx²MCMC 在 10,000 条轨迹中实现了更低的能量值，以及更优的 FID 与 Inception Score 指标，表明生成样本质量更高。
• 在 DC-GAN 与 SN-GAN 基准测试中，Ex²MCMC 与 FlEx²MCMC 的平均能量值均低于 i-SIR 或 MALA，表明采样效率更高，且对目标分布的覆盖更全面。
• FlEx²MCMC 中归一化流的自适应训练逐步提升了全局提议质量，降低了拒绝率并加快了收敛速度。
• 实证结果表明，局部再生步骤显著降低了陷入局部模式的风险，即使全局提议不完美亦成立。