[论文解读] Boltzmann Encoded Adversarial Machines

Charles K. Fisher, Smith, Aaron M.+1 more|arXiv (Cornell University)|Apr 23, 2018

Generative Adversarial Networks and Image Synthesis参考文献 2被引用 8

一句话总结

本文提出了一种新型的受限玻尔兹曼机（RBMs）训练方法——玻尔兹曼编码对抗机器（BEAMs），该方法结合了最大似然训练与基于隐藏单元激活的对抗损失。通过训练一个判别器来区分真实数据与模型生成的样本（利用RBMs的隐藏表征），BEAMs在MNIST和CelebA等基准数据集上的生成任务中表现优异，优于标准RBMs和GANs。

ABSTRACT

Restricted Boltzmann Machines (RBMs) are a class of generative neural network that are typically trained to maximize a log-likelihood objective function. We argue that likelihood-based training strategies may fail because the objective does not sufficiently penalize models that place a high probability in regions where the training data distribution has low probability. To overcome this problem, we introduce Boltzmann Encoded Adversarial Machines (BEAMs). A BEAM is an RBM trained against an adversary that uses the hidden layer activations of the RBM to discriminate between the training data and the probability distribution generated by the model. We present experiments demonstrating that BEAMs outperform RBMs and GANs on multiple benchmarks.

研究动机与目标

• 解决基于似然的RBMs训练方法的局限性，后者可能无法有效惩罚低数据密度区域中的高概率区域。
• 通过使用隐藏层激活作为判别器的输入，引入对抗训练以提升RBMs训练的稳定性和性能。
• 证明结合对数似然与对抗目标可实现优于单一方法的生成建模效果。
• 表明尽管采用更简单、非端到端的训练策略，BEAMs在图像生成基准上仍优于复杂度相当或更高的GANs。
• 通过引入一种稳定且高效的训练范式，重新确立RBMs在现代无监督学习中的可行性。

提出的方法

• 使用负对数似然目标与对抗损失项的凸组合来训练RBMs。
• 将RBMs的隐藏单元激活作为输入，输入至一个判别器网络，以区分真实数据与生成样本。
• 在隐藏表征上训练判别器，而非原始可见单元，从而实现更简单且更稳定的训练过程。
• 使用持续对比发散（persistent contrastive divergence）进行初始对数似然预训练，随后联合优化对数似然与对抗损失。
• 在低维基准任务与高维图像生成任务中应用该方法，通过独立的自编码器进行特征提取。
• 采用两阶段训练策略：首先仅使用对数似然进行预训练，然后通过联合目标进行微调，以平衡模式覆盖与重建保真度。

实验结果

研究问题

• RQ1 基于隐藏层激活的对抗训练是否能提升RBMs的生成质量，相较于标准的基于似然的训练？
• RQ2 在RBMs中结合对数似然与对抗目标，是否能实现优于单一目标的模式覆盖与更低的分布差异？
• RQ3 尽管采用更简单、非端到端的训练策略，BEAMs是否能在图像生成任务中超越GANs？
• RQ4 基于隐藏单元的判别机制如何影响基于RBMs的模型的训练稳定性和收敛性？
• RQ5 在不修改架构的前提下，BEAMs在多模态数据与时间序列数据等不同数据模态上的泛化能力如何？

主要发现

• 在MNIST和CelebA等多个基准数据集上，BEAMs在样本质量和分布保真度方面均优于标准RBMs和GANs。
• BEAMs中对数似然与对抗目标的结合显著降低了前向与反向KL散度，从而更优地建模多模态数据分布。
• BEAMs生成的图像展现出强大的全局一致性与连贯的面部特征，即使在清晰度上略逊于GAN生成的图像。
• GANs（DCGAN/DCWGAN）虽能生成更锐利的局部特征，但存在全局关联性差的问题，表明局部细节与结构一致性之间存在权衡。
• 与最先进GANs相比，BEAMs在计算成本上具有显著优势，尤其在训练复杂度方面表现更优。
• 在BEAMs中引入中心化层可进一步提升图像质量，证明了该方法的灵活性及其在架构增强方面的潜力。