[论文解读] Bayesian GAN

Yunus Saatchi, Andrew Gordon Wilson|arXiv (Cornell University)|May 26, 2017

Generative Adversarial Networks and Image Synthesis参考文献 8被引用 25

一句话总结

本文提出贝叶斯 GAN，一种通过随机梯度哈密顿蒙特卡洛对生成器和判别器权重进行边缘化处理的框架，实现不确定性感知的训练。通过探索参数的丰富后验分布，该方法避免了模式崩溃，生成多样且可解释的样本，并在半监督学习任务中于 SVHN、CelebA 和 CIFAR-10 上实现了最先进性能，且无需依赖特征匹配或小批量判别等技术。

ABSTRACT

Generative adversarial networks (GANs) can implicitly learn rich distributions over images, audio, and data which are hard to model with an explicit likelihood. We present a practical Bayesian formulation for unsupervised and semi-supervised learning with GANs. Within this framework, we use stochastic gradient Hamiltonian Monte Carlo to marginalize the weights of the generator and discriminator networks. The resulting approach is straightforward and obtains good performance without any standard interventions such as feature matching, or mini-batch discrimination. By exploring an expressive posterior over the parameters of the generator, the Bayesian GAN avoids mode-collapse, produces interpretable and diverse candidate samples, and provides state-of-the-art quantitative results for semi-supervised learning on benchmarks including SVHN, CelebA, and CIFAR-10, outperforming DCGAN, Wasserstein GANs, and DCGAN ensembles.

研究动机与目标

• 开发 GAN 的贝叶斯公式，实现在无监督和半监督设置下的不确定性感知学习。
• 消除 GAN 训练中对启发式干预（如特征匹配或小批量判别）的依赖。
• 通过探索生成器和判别器参数的丰富后验分布，解决 GAN 中的模式崩溃问题。
• 通过网络权重的后验边缘化，提升样本的多样性和可解释性。
• 在不使用集成方法的情况下，实现在半监督学习基准上的最先进性能。

提出的方法

• 该方法采用随机梯度哈密顿蒙特卡洛（SGHMC）对生成器和判别器网络的权重进行后验推断。
• 将 GAN 训练建模为贝叶斯推断问题，显式地对网络参数中的不确定性进行建模。
• 通过边缘化权重的完整后验分布，实现鲁棒且多样化的样本生成。
• 该框架无需使用诸如特征匹配或小批量判别等辅助技术。
• 通过利用表达能力强的后验分布，稳定训练并减少模式崩溃。
• 该方法端到端实现，除贝叶斯权重推断外，无需对网络架构进行任何修改。

实验结果

研究问题

• RQ1 对生成器和判别器权重进行贝叶斯推断是否能提升 GAN 训练的稳定性并减少模式崩溃？
• RQ2 对网络权重进行后验边缘化是否能生成更多样且可解释的 GAN 样本？
• RQ3 贝叶斯 GAN 是否能在不依赖特征匹配或小批量判别技术的情况下，实现在半监督学习中的最先进性能？
• RQ4 对参数的表达能力强的后验分布如何影响 GAN 的泛化能力和不确定性量化？
• RQ5 所提出的贝叶斯框架在标准基准上是否与 DCGAN、Wasserstein GAN 及 DCGAN 集成方法具有竞争力或更优？

主要发现

• 贝叶斯 GAN 框架在 SVHN、CelebA 和 CIFAR-10 的半监督学习任务中实现了最先进定量结果。
• 在所有评估基准上，其性能均优于 DCGAN、Wasserstein GAN 及 DCGAN 集成方法。
• 通过探索网络权重的丰富后验分布，该方法成功避免了模式崩溃。
• 该框架在无需特征匹配或小批量判别技术的情况下，生成了多样且可解释的样本。
• 随机梯度哈密顿蒙特卡洛实现了有效的后验近似，且对网络架构的修改极少。
• 通过贝叶斯权重参数的边缘化，该方法在泛化能力和不确定性量化方面表现出显著提升。