[论文解读] Ergodic Inference: Accelerate Convergence by Optimisation

Yichuan Zhang, José Miguel Hernández-Lobato|arXiv (Cornell University)|May 25, 2018

Gaussian Processes and Bayesian Inference参考文献 22被引用 5

一句话总结

本文提出了一种名为Ergodic Inference（EI）的混合方法，通过基于梯度的优化来调节有限长度MCMC链的超参数，从而加速MCMC的收敛。通过调整MCMC参数以最小化偏差并保持计算效率，EI生成了低偏差、独立的样本，在深度生成模型基准测试中优于现有的MCMC-VI混合方法。

ABSTRACT

Statistical inference methods are fundamentally important in machine learning. Most state-of-the-art inference algorithms are variants of Markov chain Monte Carlo (MCMC) or variational inference (VI). However, both methods struggle with limitations in practice: MCMC methods can be computationally demanding; VI methods may have large bias. In this work, we aim to improve upon MCMC and VI by a novel hybrid method based on the idea of reducing simulation bias of finite-length MCMC chains using gradient-based optimisation. The proposed method can generate low-biased samples by increasing the length of MCMC simulation and optimising the MCMC hyper-parameters, which offers attractive balance between approximation bias and computational efficiency. We show that our method produces promising results on popular benchmarks when compared to recent hybrid methods of MCMC and VI.

研究动机与目标

• 解决MCMC与变分推断（VI）方法中计算成本与近似偏差之间的权衡问题。
• 在不依赖长烧蚀期的情况下，减少有限长度MCMC链中的模拟偏差。
• 开发一种混合推断框架，利用优化技术提升MCMC的收敛速度与样本质量。
• 通过可微分目标函数对超参数进行调优，从MCMC链中生成独立且低偏差的样本。
• 在训练时间显著减少的情况下，实现比最先进混合方法更优的深度生成模型测试对数似然值。

提出的方法

• EI构建了一个基于梯度的优化目标，用于调节MCMC超参数，以最小化最终MCMC链分布与目标分布之间的差异。
• 该方法采用灵活的有限步长MCMC链，其转移核为哈密顿蒙特卡洛（HMC）核，超参数包括步长和跳跃步数。
• EI通过最小化最终链的期望对数未归一化密度与真实目标分布之间的差异，来优化MCMC转移核参数。
• 优化目标仅依赖于对数未归一化目标密度，从而可在无需完整归一化的情况下高效计算梯度。
• EI采用停止梯度技巧，在超参数调优过程中降低计算成本，显著提升训练效率。
• 最终MCMC链状态的样本相互独立，避免了标准MCMC中常见的自相关问题。

实验结果

研究问题

• RQ1 能否通过优化MCMC超参数来减少有限长度链中的近似偏差？
• RQ2 与标准MCMC或VI相比，基于梯度的MCMC参数优化能否提升收敛速度与样本质量？
• RQ3 所提出的方法是否能生成比现有MCMC-VI混合方法更低偏差的独立样本？
• RQ4 在实现相似或更优测试对数似然值时，EI的计算成本与基线方法相比如何？
• RQ5 EI能否在显著减少训练时间的情况下，实现在深度生成模型上的最先进性能？

主要发现

• HEI（Ergodic Inference）在12小时训练后于MNIST数据集上实现了-81.43的测试对数似然值，优于基线VAE与HVI方法。
• 仅用1.65小时训练，HEI即达到-83.17的测试对数似然值，超越了训练6小时的HVI方法。
• HEI将哈密顿退火重要性采样（HAIS）的有效样本量（ESS）降低至48，表明其对数似然估计可靠。
• 停止梯度技巧将训练时间减少了最多5倍，显著提升了计算效率。
• 期望对数密度差异与MMD得分的图表显示，即使在T=10个HMC步长时也仅有轻微退化，表明收敛迅速。
• 在所有训练时长下，HEI在测试对数似然值上均优于HVAE、HVI与标准VAE，且在短时训练中表现出一致的性能提升。