[论文解读] Adaptive Hamiltonian and Riemann Manifold Monte Carlo Samplers

Ziyu Wang, Shakir Mohamed+1 more|arXiv (Cornell University)|Feb 25, 2013

Markov Chains and Monte Carlo Methods参考文献 31被引用 27

一句话总结

本文提出了自适应哈密顿蒙特卡洛（AHMC）和黎曼流形哈密顿蒙特卡洛（ARMHMC）采样器，利用贝叶斯优化实现超参数的无限自适应，确保遍历性并提升采样效率。该方法自动化了步长和跃迁步数的调优，在贝叶斯神经网络等高维模型中显著优于非自适应和专家调优的采样器。

ABSTRACT

In this paper we address the widely-experienced difficulty in tuning Hamiltonian-based Monte Carlo samplers. We develop an algorithm that allows for the adaptation of Hamiltonian and Riemann manifold Hamiltonian Monte Carlo samplers using Bayesian optimization that allows for infinite adaptation of the parameters of these samplers. We show that the resulting sampling algorithms are ergodic, and that the use of our adaptive algorithms makes it easy to obtain more efficient samplers, in some cases precluding the need for more complex solutions. Hamiltonian-based Monte Carlo samplers are widely known to be an excellent choice of MCMC method, and we aim with this paper to remove a key obstacle towards the more widespread use of these samplers in practice.

研究动机与目标

• 为解决哈密顿蒙特卡洛（HMC）采样器在手动调优方面普遍存在的困难，这类采样器虽高效但对超参数选择极为敏感。
• 开发一种HMC与黎曼流形HMC（RMHMC）参数的无限自适应方法，避免有限自适应方案中常见的次优参数陷阱。
• 证明在无限自适应下，所提出的自适应采样器具有遍历性，确保收敛至目标分布。
• 展示基于预测目标（如交叉验证误差）的自适应采样器在真实世界机器学习任务中可超越专家调优或非自适应方法。
• 提供一种实用的自动化解决方案，减少对专家调优的依赖，并推动HMC在统计与机器学习应用中的广泛应用。

提出的方法

• 该方法利用贝叶斯优化，通过平衡探索与利用的获取函数，迭代调优HMC与RMHMC的超参数，包括步长ε和跃迁步数L。
• 关键创新在于采用无限自适应，即马尔可夫链在采样过程中持续调整参数，避免了有限自适应中的收敛问题。
• 该算法通过从{1, ..., L}的离散均匀分布中随机选择跃迁步数，采用HMC核的混合形式，保持细致平衡并实现高效探索。
• 自适应的目标函数主要为期望平方跳跃距离（ESJD），在数据充足时也可使用预测性度量（如交叉验证误差）作为替代。
• 对于RMHMC，该方法利用黎曼几何自适应质量矩阵，动态调整以匹配目标分布的局部曲率，从而改善混合性能。
• 该框架支持标准HMC与RMHMC，且在无限自适应下具有遍历性的理论保证，确保采样过程的渐近正确性。

实验结果

研究问题

• RQ1 通过贝叶斯优化实现的无限自适应能否提升HMC与RMHMC采样器的遍历性与混合效率？
• RQ2 使用交叉验证误差等预测目标对步长与跃迁步数进行自适应调优，是否能实现比专家调优或非自适应采样器更优的后验探索？
• RQ3 所提出的自适应框架能否消除在复杂模型（如贝叶斯神经网络）中手动调优超参数的需求？
• RQ4 在高维、相关性强的后验分布中，自适应HMC与NUTS等成熟方法相比表现如何？
• RQ5 在何种条件下，基于预测的自适应（如交叉验证误差）会优于传统的基于ESJD的自适应？

主要发现

• 自适应HMC（AHMC）与自适应黎曼流形HMC（ARMHMC）采样器在期望平方跳跃距离（ESJD）衡量下，显著优于非自适应与专家调优的HMC，表现出更高的混合效率。
• 在Dexter数据集上的贝叶斯神经网络实验中，AHMC将测试集分类误差降低至0.0458（中位数）和0.0355（多数投票），优于使用狄利克雷扩散树的获胜方法（0.0390）。
• 在Dexter数据集上，AHMC的平均预测误差为0.0498，低于专家调优HMC的0.0510，表明自动化自适应可达到甚至超越专家调优效果。
• 将交叉验证误差用作自适应目标可提升预测性能，表明基于预测损失的自适应既可行又有效。
• 理论分析证实，在无限自适应下，自适应采样器具有遍历性，解决了自适应MCMC文献中的一个关键问题。
• 该方法可在高维模型（如6097维的BNN）中实现高效采样，无需手动调优，显著降低了HMC在实际应用中的使用门槛。