[论文解读] Explaining the effects of non-convergent sampling in the training of Energy-Based Models

Elisabeth Agoritsas, Giovanni Catania+2 more|arXiv (Cornell University)|Jan 23, 2023

Generative Adversarial Networks and Image Synthesis参考文献 48被引用 6

一句话总结

本文从第一性原理出发，对使用非收敛、短时马尔可夫链蒙特卡洛（MCMC）采样训练的能量模型（EBM）为何仍能生成高质量样本提供了理论解释。研究表明，此类EBM编码了训练过程的动态记忆，当推理阶段的MCMC步数与随机初始化方式与训练阶段完全一致时，可实现最优采样质量——这实际上使EBM具备了类似扩散模型的特性。

ABSTRACT

In this paper, we quantify the impact of using non-convergent Markov chains to train Energy-Based models (EBMs). In particular, we show analytically that EBMs trained with non-persistent short runs to estimate the gradient can perfectly reproduce a set of empirical statistics of the data, not at the level of the equilibrium measure, but through a precise dynamical process. Our results provide a first-principles explanation for the observations of recent works proposing the strategy of using short runs starting from random initial conditions as an efficient way to generate high-quality samples in EBMs, and lay the groundwork for using EBMs as diffusion models. After explaining this effect in generic EBMs, we analyze two solvable models in which the effect of the non-convergent sampling in the trained parameters can be described in detail. Finally, we test these predictions numerically on a ConvNet EBM and a Boltzmann machine.

研究动机与目标

• 解释为何在违反标准MCMC收敛假设的前提下，非收敛MCMC采样在训练能量模型（EBM）中仍能取得经验上的成功。
• 通过分析证明，使用短时、非持久MCMC链训练的EBM能够通过精确的动态过程再现数据统计特性，而非依赖于平衡分布。
• 表明当推理阶段的MCMC步数和初始化方式与训练阶段完全一致时，可实现最优样本生成。
• 阐明此类模型在解释性应用中的局限性，因为其平衡测度无法正确反映真实数据统计。
• 通过将训练动态与生成性能关联，为将EBM用作扩散模型提供理论基础。

提出的方法

• 在非收敛MCMC采样条件下，解析推导EBM训练动态的固定点行为，表明经验统计是通过动态过程而非平衡态实现匹配的。
• 运用矩匹配论证，形式化描述训练期间短时MCMC运行如何在模型上留下特定的动态路径。
• 研究两个可解模型：高斯模型和二维铁磁伊辛模型，以解析描述非收敛采样对学习参数和统计特性的影响。
• 在卷积神经网络EBM和玻尔兹曼机上进行数值验证，比较不同MCMC运行长度下的样本质量和统计保真度。
• 通过两点相关性、四阶相关性、相对熵（gzip）以及协方差矩阵的特征值误差等指标评估统计保真度。
• 比较不同MCMC步数（k）的训练与不同步数（k'）的推理，识别出最优的k' = k区域。

实验结果

研究问题

• RQ1 为何使用非收敛MCMC采样的EBM训练仍能生成高质量样本，即使未达到平衡采样？
• RQ2 非收敛MCMC训练通过何种精确的动态机制实现EBM中准确的统计再现？
• RQ3 EBM生成样本的性能如何依赖于训练和推理阶段所用的MCMC步数？
• RQ4 能否将使用短时、非持久MCMC链训练的EBM有效用作扩散模型？
• RQ5 为何此类EBM的平衡分布即使在样本质量很高的情况下，也无法正确描述真实数据统计？

主要发现

• 使用非收敛MCMC采样训练的EBM并非通过平衡测度，而是通过训练过程中刻入的精确动态过程来再现数据统计。
• 当推理阶段的MCMC步数与训练阶段完全一致（即k' = k）时，可生成最高质量的样本，且该结果与k的绝对值无关。
• 即使k=1的训练运行也能生成高质量样本，且在k'=k时达到的最佳样本质量与训练阶段的k值无关，这一结论在高斯模型和伊辛模型实验中均得到验证。
• 在k'=k处样本质量的峰值在训练过程中逐渐形成，并随着学习推进而向该点收敛，表明训练与推理动态之间存在动态对齐。
• 尽管样本质量很高，但训练后EBM的平衡分布仍无法正确描述数据统计，尤其在多模态或混合时间较长的低维数据集中表现明显。
• 该模型在不同可观测量上均表现出鲁棒性：两点相关性、四阶相关性及相对熵指标在k'=k时均达到最优，证实了该效应的普遍性。