[论文解读] Gaussian-Bernoulli RBMs Without Tears

Renjie Liao, Simon Kornblith+3 more|arXiv (Cornell University)|Oct 19, 2022

Generative Adversarial Networks and Image Synthesis被引用 8

一句话总结

本文提出了一种新型的Gibbs-Langevin采样算法和改进的对比发散（CD）方法，使使用大学习率的高斯-伯努利RBMs（GRBMs）能够实现稳定且高质量的图像生成。该方法在MNIST、FashionMNIST和CelebA数据集上实现了最先进的FID分数，表明单隐藏层的GRBMs无需复杂技巧或启发式方法即可生成逼真的图像。

ABSTRACT

We revisit the challenging problem of training Gaussian-Bernoulli restricted Boltzmann machines (GRBMs), introducing two innovations. We propose a novel Gibbs-Langevin sampling algorithm that outperforms existing methods like Gibbs sampling. We propose a modified contrastive divergence (CD) algorithm so that one can generate images with GRBMs starting from noise. This enables direct comparison of GRBMs with deep generative models, improving evaluation protocols in the RBM literature. Moreover, we show that modified CD and gradient clipping are enough to robustly train GRBMs with large learning rates, thus removing the necessity of various tricks in the literature. Experiments on Gaussian Mixtures, MNIST, FashionMNIST, and CelebA show GRBMs can generate good samples, despite their single-hidden-layer architecture. Our code is released at: \url{https://github.com/lrjconan/GRBM}.

研究动机与目标

• 解决长期以来GRBMs在图像数据上训练困难的问题，此前方法常因不稳定和样本质量差而受限。
• 克服标准Gibbs采样和对比发散（CD）在GRBM训练中的局限性，后者常导致噪声梯度和收敛性差。
• 通过修改CD方法使GRBMs能够从噪声中采样，实现无条件图像生成，便于与深度生成模型进行直接比较。
• 证明梯度裁剪与改进的CD足以实现稳定训练，无需依赖自适应学习率或并行退火等启发式技术。
• 表明单隐藏层的GRBMs可在多种数据集上生成高质量样本，挑战其容量有限的既有假设。

提出的方法

• 提出一种混合Gibbs-Langevin采样算法，结合Gibbs与Langevin步骤，提升混合效率与梯度估计性能，优于标准Gibbs采样。
• 提出一种改进的CD算法，通过将正向阶段的起始点从数据改为高斯噪声，实现从噪声生成数据，支持无条件图像生成。
• 应用梯度裁剪以稳定大学习率下的训练，消除对自适应学习率或并行退火等启发式技术的依赖。
• 为每个可见单元独立学习方差参数（在MNIST上达到~1e-5），相比固定或共享方差，显著提升重建质量与样本清晰度。
• 通过所提采样方法进行对数似然梯度的蒙特卡洛估计，结合基于能量的建模以捕捉复杂的数据分布。
• 在Langevin步骤中引入Metropolis校正以提高接受率，但发现在复杂图像数据上性能略有下降。

实验结果

研究问题

• RQ1 混合Gibbs-Langevin采样方法是否能在GRBM图像生成训练中优于标准Gibbs采样？
• RQ2 改进的CD算法是否能实现从噪声开始的GRBM无条件图像生成，从而与深度生成模型进行公平比较？
• RQ3 梯度裁剪是否足以支持GRBM在大学习率下的稳定训练，从而无需其他启发式技术？
• RQ4 尽管架构简单，单隐藏层GRBMs是否能在CelebA等复杂数据集上生成高质量图像？
• RQ5 GRBMs中学习到的方差与滤波器与其它模型相比如何？它们是否反映了有意义的特征表示？

主要发现

• 在MNIST上，无Metropolis校正的Gibbs-Langevin采样方法取得最佳FID分数17.49，优于标准Gibbs（47.53）和Langevin变体。
• 在FashionMNIST上，GRBMs能生成衣物的连贯形状，但因模型归纳偏置有限，难以捕捉精细纹理。
• 在CelebA-32和CelebA-2K-64上，GRBMs能生成合理逼真的面部图像，表明其在更复杂和多样化数据分布上的泛化能力。
• 在MNIST上，学习到的方差收敛至约1e-5，显著低于以往方法，有助于生成更清晰的样本。
• 学习到的滤波器包含点状和线状模式，表明GRBMs能从数据中学习到有意义且结构化的特征。
• 结合梯度裁剪的改进CD方法可在大学习率下实现稳定训练，使方法更具鲁棒性与实用性，无需特殊超参数调优。