[论文解读] Gradient-free Hamiltonian Monte Carlo with Efficient Kernel Exponential Families

Heiko Strathmann, Dino Sejdinović+3 more|arXiv (Cornell University)|Jun 8, 2015

Markov Chains and Monte Carlo Methods参考文献 30被引用 33

一句话总结

本文提出核哈密顿蒙特卡洛（KMC），一种无需梯度的自适应MCMC算法，通过在再生核希尔伯特空间（RKHS）中使用核指数族来学习目标密度的梯度结构。通过结合得分匹配与两种高效近似方法——KMC轻量版（KMC lite）和KMC有限版（KMC finite），KMC在无需梯度的情况下实现了类似HMC的采样效率，在包括ABC-MCMC和PM-MCMC在内的各类玩具模型与真实世界应用中，显著提升了混合效率，优于当前最先进的无梯度采样器。

ABSTRACT

We propose Kernel Hamiltonian Monte Carlo (KMC), a gradient-free adaptive MCMC algorithm based on Hamiltonian Monte Carlo (HMC). On target densities where classical HMC is not an option due to intractable gradients, KMC adaptively learns the target's gradient structure by fitting an exponential family model in a Reproducing Kernel Hilbert Space. Computational costs are reduced by two novel efficient approximations to this gradient. While being asymptotically exact, KMC mimics HMC in terms of sampling efficiency, and offers substantial mixing improvements over state-of-the-art gradient free samplers. We support our claims with experimental studies on both toy and real-world applications, including Approximate Bayesian Computation and exact-approximate MCMC.

研究动机与目标

• 解决在目标密度梯度不可拒接的场景下哈密顿蒙特卡洛（HMC）方法的局限性。
• 开发一种无需显式梯度计算即可模拟HMC高效性的无梯度自适应MCMC算法。
• 在近似贝叶斯计算（ABC-MCMC）和伪边缘MCMC（PM-MCMC）等复杂场景中实现高效采样。
• 通过RKHS中无限维指数族模型的新近似方法，降低计算成本。
• 相较于现有无梯度采样器，实现几何遍历性与更优的混合性能。

提出的方法

• KMC利用再生核希尔伯特空间（RKHS）中的非参数指数族模型来估计未归一化对数目标密度的梯度。
• 采用得分匹配进行模型拟合，实现对目标梯度结构的一致估计，而无需显式计算梯度。
• 引入两种近似方法：KMC轻量版（KMC lite）将解投影到RKHS中随时间增长的低维子空间上，以保证几何遍历性。
• KMC有限版（KMC finite）利用随机傅里叶特征将问题映射到有限维特征空间，支持从完整马尔可夫链历史中在线学习。
• 该算法通过基于核的梯度近似自适应学习提议分布，以捕捉目标的局部几何结构。
• KMC采用单次似然模拟的梅特罗波利斯-黑斯廷斯校正步骤，最小化模拟成本。

实验结果

研究问题

• RQ1 当梯度不可拒接时，无梯度MCMC算法能否实现类似HMC的采样效率？
• RQ2 RKHS中的基于核的非参数方法能否准确近似复杂高维目标密度的梯度结构？
• RQ3 如何在保持渐近精确性和几何遍历性的前提下，降低无梯度HMC的计算成本？
• RQ4 在ABC-MCMC和PM-MCMC设置中，KMC是否在混合效率和有效样本量方面优于当前最先进的无梯度采样器？
• RQ5 在高维非线性目标分布中，KMC轻量版（几何遍历性）与KMC有限版（在线效率）之间存在何种权衡？

主要发现

• 在梯度不可拒接的设置下，KMC实现了类似HMC的采样效率，显著优于现有无梯度采样器的混合性能。
• KMC轻量版（KMC lite）在与标准随机游走相同的分布族上保证了几何遍历性，提供了强有力的理论保障。
• KMC有限版（KMC finite）支持利用全部历史链数据进行高效在线学习，但在未探索区域效率有所降低。
• 在ABC-MCMC和PM-MCMC实验中，KMC展现出优于HABC及其他无梯度方法的有效样本量和更快收敛速度。
• 反例研究显示，对偏态似然使用高斯近似会引入后验偏差，凸显了更优梯度估计的必要性——KMC基于核的方法有效解决了该问题。
• KMC每个提议仅需一次似然模拟，而HABC每个提议需100次模拟（因50步跃迁步长），因此KMC在模拟成本上显著更高效。