[论文解读] MetFlow: A New Efficient Method for Bridging the Gap between Markov Chain Monte Carlo and Variational Inference

Achille Thin, Nikita Kotelevskii+5 more|arXiv (Cornell University)|Feb 27, 2020

Markov Chains and Monte Carlo Methods参考文献 39被引用 5

一句话总结

MetFlow 提出了一种新颖的方法，通过使用归一化流（Normalizing Flows）在新的遍历性 MCMC 核函数族中生成提议，将变分推断（Variational Inference, VI）与马尔可夫链蒙特卡洛（Markov Chain Monte Carlo, MCMC）相结合。与以往方法不同，该方法避免了反向核函数，并通过重参数化技巧实现了端到端可微训练，从而在高维问题中实现了最先进的采样质量，同时提升了计算效率和后验分布的多模态覆盖能力。

ABSTRACT

In this contribution, we propose a new computationally efficient method to combine Variational Inference (VI) with Markov Chain Monte Carlo (MCMC). This approach can be used with generic MCMC kernels, but is especially well suited to extit{MetFlow}, a novel family of MCMC algorithms we introduce, in which proposals are obtained using Normalizing Flows. The marginal distribution produced by such MCMC algorithms is a mixture of flow-based distributions, thus drastically increasing the expressivity of the variational family. Unlike previous methods following this direction, our approach is amenable to the reparametrization trick and does not rely on computationally expensive reverse kernels. Extensive numerical experiments show clear computational and performance improvements over state-of-the-art methods.

研究动机与目标

• 解决标准 VI 的局限性，后者依赖于受限的变分族；以及 MCMC 的问题，即混合速度慢且计算成本高。
• 通过构建一个可微、可扩展的框架，弥合 VI 与 MCMC 之间的差距，结合归一化流的表达能力与 MCMC 的理论保证。
• 消除混合 VI-MCMC 方法中对计算成本高昂的反向核函数的需求，实现初始分布与 MCMC 转移核的联合优化。
• 通过增强模式覆盖能力和多样性，提升高维、多模态后验分布中后验近似的质量，特别是在变分自编码器和复杂贝叶斯模型中。
• 提供一个通用的、可重参数化的框架，兼容标准 MCMC 核函数（如 MALA 和 HMC），同时保持细致平衡性和对目标分布的不变性。

提出的方法

• 提出一种新的 ELBO 目标函数，其依赖于马尔可夫链经过 K 步后的边缘分布，从而实现对初始变分分布与 MCMC 转移核的联合优化。
• 提出 MetFlow，一类确定性 MCMC 核函数，其中提议通过归一化流生成，确保目标分布不变并改善混合性能。
• 利用重参数化技巧实现对 MCMC 转移过程的反向传播，避免对反向核函数的需求，支持端到端训练。
• 采用基于流的变换序列，使用可逆、可训练的映射（例如 R-NVP 模块），生成复杂且灵活的提议分布，从而增强变分族的表达能力。
• 使用随机梯度下降结合早停策略与 ADAM 优化算法训练 MetFlow 参数，通过在迭代过程中使用固定噪声与随机噪声的组合来控制样本多样性。
• 通过固定编码器（均值场近似）支持摊销推理，训练 MetFlow 以在每个数据点条件下近似后验分布，从而实现可扩展的贝叶斯推理。

实验结果

研究问题

• RQ1 能否设计一种基于 MCMC 的可微、可重参数化的变分推断框架，避免使用反向核函数，并实现初始分布与转移核的联合优化？
• RQ2 在高维、多模态后验分布中，将归一化流作为 MCMC 的提议，能在多大程度上提升变分近似的表达能力与准确性？
• RQ3 噪声注入策略的选择（确定性、伪随机、完全随机）如何影响 MetFlow 中后验样本的多样性与质量？
• RQ4 在 MNIST 混合模型和图像修复等复杂基准测试中，MetFlow 是否能实现优于当前最先进 VI 与混合 VI-MCMC 方法的采样质量与计算效率？
• RQ5 MetFlow 在支持通过反向传播实现高效、可扩展训练的同时，是否仍能保持细致平衡性与对目标分布的不变性？

主要发现

• 在多模态分布（如 MNIST 数字的混合分布）上，MetFlow 实现了更优的后验近似质量，而标准归一化流会退化为单一模式，MetFlow 则能捕捉到多样且多模态的结构。
• 在图像修复任务中，MetFlow 能够从不同起始数字（如 0、3、6、9）生成多样且合理的重建结果，展示了其在复杂潜在空间中的有效探索能力。
• MetFlow 的完全随机设置（每一步重新采样噪声）产生的样本多样性最高，但收敛所需训练周期更多。
• 与均值场 VI 和基于 NAF 的 VI 相比，MetFlow 在捕捉后验多模态性方面表现更优，定性样本显示可生成多个合理的数字。
• 该方法在采样质量与计算效率方面达到了最先进水平，使用 192 个批次（每批 250 个样本）在 MNIST 上训练 150 个周期后仍保持稳定。
• 消融实验表明，MetFlow 的设计——采用基于流的提议并避免反向核函数——相比先前的混合 VI-MCMC 方法，能实现更稳定且更具表达力的推理。