[论文解读] Hybrid Monte Carlo methods for sampling probability measures on submanifolds

Tony Lelièvre, Mathias Rousset+1 more|arXiv (Cornell University)|Jul 6, 2018

Markov Chains and Monte Carlo Methods参考文献 37被引用 41

一句话总结

本文提出了一种广义的哈密顿蒙特卡洛（GHMC）方法，通过在梅特罗波利斯-黑斯廷斯校正步骤中引入反向投影检查，实现对子流形上概率测度的采样。该方法确保了细致平衡，并在大时间步长下消除了不变测度中的偏差，数值实验表明，反向检查对于准确性和效率至关重要，尤其是在时间步长大到破坏底层积分器可逆性时。

ABSTRACT

Probability measures supported on submanifolds can be sampled by adding an extra momentum variable to the state of the system, and discretizing the associated Hamiltonian dynamics with some stochastic perturbation in the extra variable. In order to avoid biases in the invariant probability measures sampled by discretizations of these stochastically perturbed Hamiltonian dynamics, a Metropolis rejection procedure can be considered. The so-obtained scheme belongs to the class of generalized Hybrid Monte Carlo (GHMC) algorithms. We show here how to generalize to GHMC a procedure suggested by Goodman, Holmes-Cerfon and Zappa for Metropolis random walks on submanifolds, where a reverse projection check is performed to enforce the reversibility of the algorithm for large timesteps and hence avoid biases in the invariant measure. We also provide a full mathematical analysis of such procedures, as well as numerical experiments demonstrating the importance of the reverse projection check on simple toy examples.

研究动机与目标

• 开发一种广义的哈密顿蒙特卡洛（GHMC）算法，实现对子流形上概率测度的无偏采样，避免离散化误差的影响。
• 将古德曼等人（2018）提出的反向投影检查技术扩展至具有非零梯度力的GHMC方案。
• 从数学上形式化GHMC在子流形上的离散化可逆性性质，适用于任意时间步长。
• 通过数值实验表明，反向投影检查对于无偏采样至关重要，尤其是在时间步长较大时。
• 对可逆性检查对不变测度和采样效率的影响进行完整分析。

提出的方法

• 提出一种GHMC方案，其中提议步骤使用约束哈密顿动力学积分器（如RATTLE）并结合动量重采样。
• 应用梅特罗波利斯-黑斯廷斯校正，基于初始状态与提议状态的目标概率密度比。
• 引入反向投影检查：验证从提议状态出发，通过相同的投影过程是否能返回原始状态。
• 使用拉格朗日乘子函数定义将非约束动力学步长投影回子流形的过程。
• 采用牛顿法求解投影和反向投影步骤中产生的非线性方程。
• 实现完整的拒绝机制，包括：(1) 前向或反向步骤中牛顿法收敛失败，(2) 不可逆性（即 (q,p) ≠ ΨΔt ◦ ΨΔt(q,p)），以及 (3) 基于密度比的梅特罗波利斯接受/拒绝。

实验结果

研究问题

• RQ1 反向投影检查能否从梅特罗波利斯随机游走推广至具有非零梯度力的GHMC方案？
• RQ2 在子流形上的GHMC中，包含反向投影检查是否能消除大时间步长下的不变测度偏差？
• RQ3 在约束流形上的GHMC中，由于不可逆性导致的拒绝率如何随时间步长变化？
• RQ4 反向投影检查对采样效率有何影响，特别是在亚稳态系统中？
• RQ5 该方法能否在不依赖小时间步长的前提下实现无偏采样，如标准HMC所要求的那样？

主要发现

• 在大时间步长（Δt = 1）下，带有力的GHMC中不可逆性拒绝率达到了15–20%，表明反向检查对于偏差消除至关重要。
• 当力被设为零（退化为梅特罗波利斯随机游走）时，最优时间步长约为1，不可逆性拒绝率约为5%，表明该检查依然必不可少。
• 在亚稳态状态中的平均停留时间与1/Δt成正比（GHMC），而MALA中与1/Δt²成正比，证实了底层动力学的正确标度。
• 在Δt = 0.1时，不可逆性拒绝率降至接近零（10⁻⁹），但总拒绝率仍保持较高水平（约6.7×10⁻⁴），表明在小时间步长下梅特罗波利斯拒绝占主导。
• 采样效率最优的时间步长恰好是反向投影检查最常被触发的时刻，证明其对无偏采样的必要性。
• 数值实验确认，若省略反向检查，将导致显著偏差，尤其是在大时间步长下，即使应用了梅特罗波利斯校正也是如此。