[论文解读] Learning Non-Convergent Non-Persistent Short-Run MCMC Toward Energy-Based Model

Erik Nijkamp, Mitch Hill+2 more|arXiv (Cornell University)|Apr 22, 2019

Generative Adversarial Networks and Image Synthesis参考文献 59被引用 72

一句话总结

本文研究使用非收敛短跑 MCMC 学习能量基模型（EBMs），结果表明学习得到的短跑 MCMC 能生成真实的图像并充当生成器或流模型，尽管它学习的是一个错误模型的错误采样器。

ABSTRACT

This paper studies a curious phenomenon in learning energy-based model (EBM) using MCMC. In each learning iteration, we generate synthesized examples by running a non-convergent, non-mixing, and non-persistent short-run MCMC toward the current model, always starting from the same initial distribution such as uniform noise distribution, and always running a fixed number of MCMC steps. After generating synthesized examples, we then update the model parameters according to the maximum likelihood learning gradient, as if the synthesized examples are fair samples from the current model. We treat this non-convergent short-run MCMC as a learned generator model or a flow model. We provide arguments for treating the learned non-convergent short-run MCMC as a valid model. We show that the learned short-run MCMC is capable of generating realistic images. More interestingly, unlike traditional EBM or MCMC, the learned short-run MCMC is capable of reconstructing observed images and interpolating between images, like generator or flow models. The code can be found in the Appendix.

研究动机与目标

• 动机并分析使用非收敛、非混合的短跑 MCMC 学习能量基模型（EBMs）。
• 证明固定步长、带噪初始化的 MCMC 能产生现实感的图像生成。
• 显示学习得到的短跑 MCMC 能在图像之间进行插值并重构观测到的图像。
• 解释与广义矩估计匹配和信息熵考量的理论联系。
• 提出可以将短跑 MCMC 视为有效的生成器模型，并应用于相关任务（修复、超分辨率、风格迁移）。

提出的方法

• 将 p_theta(x) 定义为以 ConvNet 参数化的能量 f_theta(x) 的 Gibbs 分布。
• 用从固定 p0（例如均匀噪声）出发的固定 K 步 MCMC M_theta 代替从 p_theta 的精确采样，以诱导 q_theta。
• 通过最大似然梯度更新 theta，使用数据期望与 q_theta 期望之差（Δ(theta)）
• 在观测数据中注入高斯噪声，以稳定学习并促进估计方程 Δ(theta)=0 的收敛。
• 将 q_theta 解释为生成器或流模型，其中 x = M_theta(z, u)，其中 z ~ p0，u 是 MCMC 随机性。
• 提供与广义矩估计量和信息理论对偶性（毕达哥拉关系）有关的概念性与数学联系。

实验结果

研究问题

• RQ1 非收敛、非持久的短跑 MCMC 是否能有效地学习一个能量基模型？
• RQ2 所得到的短跑 MCMC 是否是一个有效的数据模型，能够进行生成、插值和重建？
• RQ3 超参数（K、噪声水平、模型宽度）如何影响合成质量与稳定性？
• RQ4 学习得到的短跑 MCMC 是否可以解释为具有潜变量和残差结构的生成器或流模型？
• RQ5 在该学习方案中，矩匹配与熵的理论联系是什么？

主要发现

• 固定初始化的短跑 MCMC 即使非收敛也能生成现实感图像。
• 学习得到的短跑 MCMC 能在生成样本之间插值并重构观测图像，类似生成器/流模型。
• 增大 K 可以提高保真度并在计算极限内降低 q_theta 与 p_theta 之间的 KL 散度。
• 向数据添加噪声稳定训练，并实现 Δ(theta)=0 的收敛。
• 合成质量随特征数 (n_f) 增多和噪声水平合适而提升；IS/FID 指标显示具有竞争力的结果。