[论文解读] Detecting and Mitigating Mode-Collapse for Flow-based Sampling of Lattice Field Theories

Kim A. Nicoli, Christopher J. Anders+4 more|arXiv (Cornell University)|Jan 1, 2023

Theoretical and Computational Physics被引用 1

一句话总结

本文识别并解决了在格点规范场论采样中使用归一化流时出现的模式崩溃问题，该问题源于反向KL训练导致流无法表征所有物理模式。本文提出采用前向KL训练与估计器结合的方法以减少偏差，在二维ϕ⁴理论中，自由能估计的误差显著低于HMC。

ABSTRACT

We study the consequences of mode-collapse of normalizing flows in the context of lattice field theory. Normalizing flows allow for independent sampling. For this reason, it is hoped that they can avoid the tunneling problem of local-update MCMC algorithms for multi-modal distributions. In this work, we first point out that the tunneling problem is also present for normalizing flows but is shifted from the sampling to the training phase of the algorithm. Specifically, normalizing flows often suffer from mode-collapse for which the training process assigns vanishingly low probability mass to relevant modes of the physical distribution. This may result in a significant bias when the flow is used as a sampler in a Markov-Chain or with Importance Sampling. We propose a metric to quantify the degree of mode-collapse and derive a bound on the resulting bias. Furthermore, we propose various mitigation strategies in particular in the context of estimating thermodynamic observables, such as the free energy.

研究动机与目标

• 识别在格点规范场论中，使用反向KL散度训练的归一化流出现模式崩溃的根本原因。
• 量化模式崩溃对物理可观测量估计器引入的偏差。
• 提出前向KL训练作为缓解策略，尤其适用于自由能等热力学可观测量。
• 提出一种度量方法，用于评估训练后流中模式崩溃的程度。
• 展示结合流估计器与前向KL训练后，自由能估计的改进效果。

提出的方法

• 使用反向KL最小化进行标准流训练，由于对缺失模式的惩罚较弱，易导致模式崩溃。
• 提出前向KL训练作为替代方案，通过惩罚缺失模式来强制最大似然估计，从而减少模式崩溃。
• 提出由于模式崩溃导致可观测量估计器偏差的理论界，从而可量化模式崩溃的严重程度。
• 使用预采样的HMC配置作为前向KL训练的真实数据，使该方法可用于自由能估计而无需额外的马尔可夫链。
• 结合多个基于流的估计器，以降低方差并提升自由能估计的准确性。
• 在二维ϕ⁴标量理论中验证方法，格点体积最大达N=100，以HMC作为参考基准。

实验结果

研究问题

• RQ1 在格点规范场论中，归一化流的反向KL训练为何会导致模式崩溃？
• RQ2 模式崩溃对物理可观测量估计器引入的偏差是否存在理论界？
• RQ3 与反向KL相比，前向KL训练在基于流的采样中是否能显著减少模式崩溃？
• RQ4 当已有HMC样本时，前向KL训练是否适用于自由能等热力学可观测量？
• RQ5 结合多个基于流的估计器是否能降低偏差并提升自由能估计的准确性？

主要发现

• 与反向KL相比，前向KL训练显著减少了模式崩溃，表现为更低的偏差度量和更优的物理模式覆盖。
• 理论偏差界能准确量化模式崩溃的影响，2D ϕ⁴模型中观测到的最大偏差约为0.73。
• 采用前向KL训练的基于流的自由能估计误差比HMC小几个数量级，尽管仅使用100万次采样。
• 多个流估计器的结合进一步降低了方差并提升了准确性，优于单一流估计器。
• 使用5000万个预采样的HMC配置进行训练，实现了有效的前向KL训练，使自由能估计无需额外HMC链即可实现。
• 该方法在格点体积达N=100的范围内表现出稳健性能，A100 GPU上的训练时间最长达55小时。