[论文解读] Diffusion Models as Stochastic Quantization in Lattice Field Theory

Lingxiao Wang, Gert Aarts+1 more|arXiv (Cornell University)|Sep 29, 2023

Stochastic processes and statistical mechanicsMathematics参考文献 82被引用 3

一句话总结

本文在机器学习中的扩散模型（DMs）与格点场论中的随机量化（SQ）之间建立了理论与数值上的联系。通过将DMs视为朗之万过程的逆过程，作者证明了DMs可作为高效全局采样器，用于生成二维φ⁴理论中的量子格点场配置，与标准马尔可夫链蒙特卡洛（MCMC）方法相比，显著降低了自相关时间，尤其是在临界区域。

ABSTRACT

In this work, we establish a direct connection between generative diffusion models (DMs) and stochastic quantization (SQ). The DM is realized by approximating the reversal of a stochastic process dictated by the Langevin equation, generating samples from a prior distribution to effectively mimic the target distribution. Using numerical simulations, we demonstrate that the DM can serve as a global sampler for generating quantum lattice field configurations in two-dimensional $ϕ^4$ theory. We demonstrate that DMs can notably reduce autocorrelation times in the Markov chain, especially in the critical region where standard Markov Chain Monte-Carlo (MCMC) algorithms experience critical slowing down. The findings can potentially inspire further advancements in lattice field theory simulations, in particular in cases where it is expensive to generate large ensembles.

研究动机与目标

• 建立生成式扩散模型（DMs）与量子场论中随机量化（SQ）之间的理论联系。
• 研究DMs是否可作为生成格点场论配置的全局采样器。
• 评估DMs在马尔可夫链蒙特卡洛（MCMC）模拟中减少自相关时间的性能，尤其是在临界点附近。
• 提供数值证据，表明DMs能够捕捉由SQ在格点场论中诱导的随机动力学。
• 探索DMs在大规模格点场论模拟中的潜力，特别是在计算成本高昂的区域提升效率。

提出的方法

• 作者将扩散过程建模为由朗之万方程控制的随机过程的逆过程，将DMs与随机量化联系起来。
• 他们使用基于U-Net的去噪得分模型，通过变分推断学习目标分布的得分函数。
• 该模型采用时间嵌入的U-Net架构，包含跳跃连接、组归一化和Swish激活函数，以在每个扩散步骤预测噪声。
• 得分函数通过Skilling-Hutchinson估计器进行估计，该方法通过随机向量投影实现得分函数散度的高效计算。
• 使用数值积分器求解概率流ODE，以从目标分布生成样本。
• 该方法在2D φ⁴格点场论中进行测试，以混合蒙特卡洛（HMC）作为基线，DMs用于初始化或重采样配置。

实验结果

研究问题

• RQ1 扩散模型能否被解释为格点场论中随机量化的逆过程？
• RQ2 在格点场论的MCMC模拟中，尤其是临界区域，扩散模型是否能显著降低自相关时间？
• RQ3 DMs能否有效生成与标准HMC模拟统计特性一致的场配置？
• RQ4 在非平凡的量子场论中，基于DM的采样方法是否在数值验证下表现出鲁棒性和自洽性？
• RQ5 在具有临界慢化现象的场论中，DM方法是否在大规模集合采样效率方面优于标准MCMC？

主要发现

• 扩散模型可被解释为朗之万方程定义的随机过程的逆过程，从而在DMs与随机量化之间建立了直接的理论联系。
• 在二维φ⁴理论中，DMs显著降低了马尔可夫链的自相关时间，尤其是在标准MCMC因临界慢化而受阻的临界区域。
• 基于DM的采样器生成的场配置在统计上与标准HMC一致，经自洽性检查验证。
• 该方法展示了更高的采样效率，可实现更快收敛并降低生成大规模集合的计算成本。
• Skilling-Hutchinson估计器在训练期间实现了准确且高效的似然估计，散度近似在样本量为10时即实现收敛。
• 数值证据证实，DM能够捕捉SQ在格点场论中诱导的随机动力学，验证了其在格点场论中作为全局采样器的有效性。