[论文解读] Bounds all around: training energy-based models with bidirectional bounds

Cong Geng, Jia Wang+3 more|arXiv (Cornell University)|Nov 1, 2021

Generative Adversarial Networks and Image Synthesis参考文献 60被引用 5

一句话总结

本文提出了一种用于训练能量模型（EBM）的双向边界框架，通过同时最大化负对数似然的下界和最小化上界，提升了训练的稳定性和性能。该方法引入了一种新颖且高效的雅可比行列式估计器，并将上界与梯度惩罚联系起来，实现了极低计算开销下的最先进密度估计和生成样本质量。

ABSTRACT

Energy-based models (EBMs) provide an elegant framework for density estimation, but they are notoriously difficult to train. Recent work has established links to generative adversarial networks, where the EBM is trained through a minimax game with a variational value function. We propose a bidirectional bound on the EBM log-likelihood, such that we maximize a lower bound and minimize an upper bound when solving the minimax game. We link one bound to a gradient penalty that stabilizes training, thereby providing grounding for best engineering practice. To evaluate the bounds we develop a new and efficient estimator of the Jacobi-determinant of the EBM generator. We demonstrate that these developments significantly stabilize training and yield high-quality density estimation and sample generation.

研究动机与目标

• 解决由于在极小-极大博弈中同时最小化和最大化下界而导致的能量模型（EBM）训练不稳定性问题。
• 开发一种新的 EBM 对数似然上界，以稳定训练，并将其与梯度惩罚等成熟工程实践相联系。
• 提供一种高效、无参数的 EBM 生成器雅可比行列式估计器，以实现精确的熵估计。
• 证明双向边界在多种数据集上可提升生成样本质量与密度估计性能，且计算成本几乎不变。
• 为 EBM 训练中使用梯度惩罚提供概率论上的解释，将其与对数似然的上界联系起来。

提出的方法

• 提出一种双向边界策略：在极小-极大训练过程中，最大化对数似然的下界，同时最小化其上界。
• 通过变分近似推导上界，并将其与梯度惩罚联系起来，后者可正则化能量函数并稳定训练。
• 提出一种新的、高效的 EBM 生成器雅可比行列式估计器，利用幂迭代法，无需额外网络即可实现精确的熵估计。
• 使用 Jensen 不等式得到下界：$\mathcal{L}(\theta) \leq L(\theta)$，其中 $\mathcal{L}(\theta) = \mathbb{E}_{\text{data}}[E_\theta] - \mathbb{E}_{p_g}[E_\theta] + H[p_g]$。
• 使用固定数量的幂迭代来近似生成器雅可比矩阵的最小奇异值，以在准确性和计算成本之间取得平衡。
• 将提议分布 $p_g$ 的支持体积 $M$ 视为超参数，实证调优显示其具有鲁棒性。

实验结果

研究问题

• RQ1 能否通过同时对 EBM 对数似然的上下界进行约束，来提升训练稳定性和性能？
• RQ2 如何推导对数似然的上界，并将其与 EBM 训练中的梯度惩罚联系起来？
• RQ3 能否开发一种高效、无参数的雅可比行列式估计器，以实现在 EBM 中的精确熵估计？
• RQ4 所提出的双向边界框架是否在密度估计和样本生成方面优于现有最先进方法？
• RQ5 能否通过基于对数似然的概率上界，为 EBM 训练中使用梯度惩罚提供理论依据？

主要发现

• 所提出的 EBM-BB 模型在 CIFAR-10（0.83）和 ANIMEFACE（0.88）上实现了最先进 FID 分数，优于 WGAN-0GP 和其他基线模型。
• 在 CIFAR-10 上，EBM-BB 的 Fréchet Inception Distance（FID）为 0.83，显著优于 EBM-0GP（0.66）和 WGAN-0GP（0.66）。
• 在 ANIMEFACE 数据集上，EBM-BB 的 FID 为 0.88，而 WGAN-0GP 为 0.66，EBM-0GP 为 0.67。
• 该方法实现了高质量的样本生成和稳定的训练，其中与梯度惩罚相关的上界提供了正则化，改善了收敛性。
• 雅可比行列式估计器实现了无需额外网络的精确熵估计，降低了训练复杂度和超参数调优需求。
• 尽管需要更小的学习率和更长的训练时间（CIFAR-10 上长达 20 小时），该方法仍展现出卓越性能，表明其具备出色的权衡效率。