[论文解读] Markov Chain Monte Carlo and Variational Inference: Bridging the Gap

Tim Salimans, Diederik P. Kingma+1 more|arXiv (Cornell University)|Oct 23, 2014

Markov Chains and Monte Carlo Methods参考文献 18被引用 358

一句话总结

本文提出了一种混合推理框架，通过在变分推理中引入辅助变量，将马尔可夫链蒙特卡洛（MCMC）步骤整合进来，从而实现一类灵活的后验近似，弥合了快速变分推理与渐近精确MCMC之间的差距。通过联合优化MCMC转移过程和辅助推理模型的变分下界，该方法在不牺牲计算效率的前提下提升了近似精度，获得了优于标准变分方法的后验估计。

ABSTRACT

Recent advances in stochastic gradient variational inference have made it possible to perform variational Bayesian inference with posterior approximations containing auxiliary random variables. This enables us to explore a new synthesis of variational inference and Monte Carlo methods where we incorporate one or more steps of MCMC into our variational approximation. By doing so we obtain a rich class of inference algorithms bridging the gap between variational methods and MCMC, and offering the best of both worlds: fast posterior approximation through the maximization of an explicit objective, with the option of trading off additional computation for additional accuracy. We describe the theoretical foundations that make this possible and show some promising first results.

研究动机与目标

• 解决贝叶斯推理中计算速度与近似精度之间的权衡问题。
• 开发一个统一框架，结合变分推理的效率与MCMC的精度。
• 通过在扩展空间中引入辅助变量，实现在变分推理目标中使用MCMC步骤。
• 联合或顺序优化MCMC转移模型与反向模型，以提升变分下界。
• 证明将MCMC步骤整合到变分推理中可获得更紧的下界和更优的后验近似。

提出的方法

• 构建一个包含辅助变量的变分下界，这些辅助变量表示MCMC链的完整轨迹，从而实现对MCMC转移过程与推理模型的联合优化。
• 采用联合后验近似 $ q(z_T|x) = \int q(y,z_T|x) dy $，其中 $ y = z_0, \dots, z_{T-1} $ 为辅助变量，从而构建比标准变分族更丰富的近似类。
• 为反向模型 $ r(y|x,z_T) $ 引入灵活的参数化形式，可优化以更准确地近似辅助变量的真正后验分布。
• 使用随机梯度变分推理来优化下界，当解析计算不可行时，采用无偏的蒙特卡洛估计。
• 提出联合与顺序优化策略：前者同时优化所有MCMC步骤，后者逐步改进现有近似，类似于提升（boosting）方法。
• 应用热化重要性采样构建满足细致平衡条件的反向模型，确保每一步MCMC都能单调提升下界。

实验结果

研究问题

• RQ1 能否将MCMC步骤嵌入变分推理框架中，在保持显式目标函数的同时改善后验近似？
• RQ2 如何利用辅助变量构建包含MCMC动力学的更丰富的变分近似类？
• RQ3 联合优化MCMC转移模型与反向模型对变分下界紧致性有何影响？
• RQ4 能否通过顺序整合MCMC步骤，以类似提升的方式改进现有变分近似？
• RQ5 所提方法是否在后验精度上优于标准变分推理或单独的MCMC？

主要发现

• 通过引入MCMC步骤，所提方法提升了变分下界，且随着MCMC链长度增加和转移过程优化，下界持续上升。
• 将多个MCMC迭代结果作为混合分布用于后验近似，可降低方差并提升估计性能，尤其在长链情况下效果更显著。
• 顺序MCVI算法通过逐个添加MCMC步骤，实现对现有变分近似的增量式改进，带来更好的收敛性与性能表现。
• 热化变分推理提供了一种无需显式指定反向模型即可改进下界的方法，利用细致平衡条件确保单调提升。
• 该框架实现了速度与精度之间的平滑权衡：更多MCMC步骤可提升精度但增加计算成本，更少步骤则保持速度但精度降低。
• 实验结果表明，该方法在复杂模型（尤其是多模态后验）中，相比标准变分推理，能获得更紧的下界和更优的后验近似。