[论文解读] Deep Learning Hamiltonian Monte Carlo

Xiao-Yong Jin, Xiao-Yong Jin+1 more|arXiv (Cornell University)|May 7, 2021

Markov Chains and Monte Carlo Methods参考文献 21被引用 12

一句话总结

本文提出深度学习哈密顿蒙特卡洛（DLHMC），一种广义的HMC算法，用可学习的神经网络层堆叠替代传统跃迁步长，以提升格点规范场论中的采样效率。该方法显著降低了在β=7时拓扑荷的积分自相关时间，使计算成本相比标准HMC降低高达100倍。

ABSTRACT

We generalize the Hamiltonian Monte Carlo algorithm with a stack of neural network layers and evaluate its ability to sample from different topologies in a two dimensional lattice gauge theory. We demonstrate that our model is able to successfully mix between modes of different topologies, significantly reducing the computational cost required to generated independent gauge field configurations. Our implementation is available at https://github.com/saforem2/l2hmc-qcd .

研究动机与目标

• 为解决在连续极限附近格点规范场论模拟中由于拓扑区之间混合缓慢而导致的指数级减速问题。
• 通过学习自适应提议分布，提升格点规范场论马尔可夫链蒙特卡洛（MCMC）模拟的采样效率。
• 开发一种可微分、自训练的MCMC采样器，利用深度神经网络推广传统HMC。
• 在具有周期性边界条件且耦合常数可变的2D U(1)格点规范场论上评估该方法的性能。
• 理解通过神经网络层学习的动力学机制，如何实现改进的拓扑隧穿。

提出的方法

• DLHMC用一组独立的神经网络层替代HMC中的连续跃迁步长，每层由独立的权重参数化，并作用于扩展的状态变量（x, v, d）。
• 每个神经网络层使用可学习的缩放和偏移函数对动量和位置执行改进的跃迁更新，输入源自当前状态及作用量的梯度。
• 网络架构采用掩码输入以解耦位置与动量的更新，分别使用独立网络处理正向与反向方向。
• 使用自定义损失函数进行模型训练，特别鼓励拓扑隧穿，即促进不同拓扑荷区之间的跃迁。
• 最终提议通过Metropolis-Hastings接受准则实现精确化，确保细致平衡并正确采样目标分布。
• 训练在配备GPU加速的超级计算机上使用Horovod和TensorFlow完成，超参数针对16×16格点和β ∈ [2,7]进行调优。

实验结果

研究问题

• RQ1 深度神经网络架构能否有效替代HMC中的传统跃迁步长，从而提升格点规范场论中的采样效率？
• RQ2 所学习的采样器是否在拓扑区之间表现出相比标准HMC更强的混合能力？
• RQ3 神经网络的内部动力学如何促进跨越拓扑区之间能量壁垒的隧穿？
• RQ4 在某一耦合常数β下训练的模型能否在几乎无需再训练的情况下有效迁移到另一β值？
• RQ5 哪些物理量（如平面元、能量、拓扑荷）的变化方式能够实现对相空间更优的探索？

主要发现

• 在β=7时，DLHMC将拓扑荷的积分自相关时间相比标准HMC降低了最多100倍，表明采样效率有显著提升。
• 在较小β值（如β=2）下训练的模型仅需极少再训练即可在较大β值（如β=7）下表现良好，表明其在耦合常数间具有强大的泛化能力。
• 推理过程中，神经网络在轨迹前半段人为提高系统的能量密度，随后将其恢复至原始值，形成一种自学习机制，有助于跨越拓扑障碍。
• 连续的拓扑荷在神经网络层的中点位置表现出混合行为，表明系统在变换过程中穿越了能量壁垒。
• 在轨迹过程中，平均平面元值发生偏移，反映出对物理路径的受控偏离，从而实现对经典禁戒区域的探索。
• HMC模拟在长时间内被束缚于单一拓扑区，而训练后的DLHMC采样器则能迅速在不同区之间切换，拓扑荷演化过程的可视化结果证实了这一点。