[论文解读] Fluctuation without dissipation: Microcanonical Langevin Monte Carlo

Jakob Robnik, Uroš Seljak|arXiv (Cornell University)|Mar 31, 2023

Markov Chains and Monte Carlo Methods被引用 4

一句话总结

本文提出微正则朗之万蒙特卡洛（MCLMC），一种无耗散的随机采样方法，在保持能量守恒的同时实现配置空间上的目标系综分布。与传统朗之万动力学不同，MCLMC 使用保持能量的噪声，实现更快收敛——在 8×8 网格上比 HMC 快 12 倍，在 64×64 网格上快 32 倍——这是由于无偏离散化和凸势能下的几何遍历性所致。

ABSTRACT

Stochastic sampling algorithms such as Langevin Monte Carlo are inspired by physical systems in a heat bath. Their equilibrium distribution is the canonical ensemble given by a prescribed target distribution, so they must balance fluctuation and dissipation as dictated by the fluctuation-dissipation theorem. In contrast to the common belief, we show that the fluctuation-dissipation theorem is not required because only the configuration space distribution, and not the full phase space distribution, needs to be canonical. We propose a continuous-time Microcanonical Langevin Monte Carlo (MCLMC) as a dissipation-free system of stochastic differential equations (SDE). We derive the corresponding Fokker-Planck equation and show that the stationary distribution is the microcanonical ensemble with the desired canonical distribution on configuration space. We prove that MCLMC is ergodic for any nonzero amount of stochasticity, and for smooth, convex potentials, the expectation values converge exponentially fast. Furthermore, the deterministic drift and the stochastic diffusion separately preserve the stationary distribution. This uncommon property is attractive for practical implementations as it implies that the drift-diffusion discretization schemes are bias-free, so the only source of bias is the discretization of the deterministic dynamics. We applied MCLMC on a lattice $ϕ^4$ model, where Hamiltonian Monte Carlo (HMC) is currently the state-of-the-art integrator. For the same accuracy, MCLMC converges 12 times faster than HMC on an $8 imes8$ lattice. On a $64 imes64$ lattice, it is already 32 times faster. The trend is expected to persist to larger lattices, which are of particular interest, for example, in lattice quantum chromodynamics.

研究动机与目标

• 开发一种绕过涨落-耗散定理的随机采样方法，仅关注配置空间分布。
• 证明能量守恒动力学可在不达到相空间系综平衡的情况下产生正确的目标分布。
• 设计一个连续时间 SDE 框架——微正则朗之万蒙特卡洛（MCLMC）——以确保遍历性和快速收敛。
• 展示 MCLMC 在高维格点场论中，尤其在临界慢化区域，性能优于 HMC 和 NUTS。
• 通过将漂移与扩散分离，实现实际的无偏离散化方案，同时保持平稳分布。

提出的方法

• 提出一个连续时间 SDE 系统，其中随机噪声保持总能量守恒，从而无需速度阻尼。
• 推导 MCLMC 的相应福克-普朗克方程，证明其平稳分布与配置空间上的目标分布一致。
• 证明确定性漂移和随机扩散分量各自独立地保持平稳分布。
• 证明在任意非零噪声水平下具有遍历性，并在光滑凸势能下具有几何遍历性。
• 将 MCLMC 应用于格点 φ⁴ 模型，并以磁化率和每梯度评估的 ESS 为指标，与 HMC 和 NUTS 进行比较。
• 采用退火方案结合预热采样，并在性能比较中计入调参成本，以实现公平基准测试。

Figure 1: Top: susceptibility in the vicinity of the phase transition. We follow Gerdes et al. ( 2022 ) and rescale the susceptibility and the quartic coupling by the Ising model critical exponents $\nu=1$ , $\gamma=7/4$ and the critical coupling $\lambda_{C}=4.25$ from Vierhaus ( 2010 ) . The resca

实验结果

研究问题

• RQ1 能否设计一种随机采样方法，绕过涨落-耗散定理，同时在配置空间上实现正确的目标分布？
• RQ2 在 SDE 框架中使用能量守恒噪声，是否能产生与期望系综分布一致的平稳分布？
• RQ3 MCLMC 是否能在高维格点场论中实现比 HMC 更快的收敛速度，尤其是在相变附近？
• RQ4 当漂移与扩散分量分别处理时，MCLMC 的离散化是否引入偏差？
• RQ5 与 HMC 和 NUTS 相比，MCLMC 的性能在多大程度上随格点尺寸增长而变化，尤其在临界慢化条件下？

主要发现

• 在 φ⁴ 模型中，MCLMC 在 8×8 网格上比 HMC 快 12 倍，在 64×64 网格上快 32 倍，且精度相同。
• MCLMC 的每梯度评估有效样本量（ESS）几乎与格点尺寸和耦合强度无关，而 HMC 和 NUTS 受临界慢化影响严重。
• 在计入调参成本后，MCLMC 性能优于 HMC 和 NUTS 至少 40 倍，且在 d=10⁸ 时预计可实现 2–3 个数量级的优势。
• 对于光滑、对数凸势能，该方法具有几何遍历性，确保期望值的指数收敛。
• MCLMC 的离散化不引入漂移-扩散耦合导致的偏差，因为两部分各自独立保持平稳分布。
• 在 L=64 时，MCLMC 的墙钟时间在 GPU 上仅为零头几秒，而基于归一化流的采样器需数小时，且在更大格点上变得不可行。