[论文解读] Bayesian Conditional Generative Adverserial Networks

M. Ehsan Abbasnejad, Qinfeng Shi+3 more|arXiv (Cornell University)|Jun 17, 2017

Generative Adversarial Networks and Image Synthesis参考文献 16被引用 6

一句话总结

该论文提出贝叶斯条件生成对抗网络（BC-GANs），这是一种新颖的 GAN 框架，用基于 dropout 的权重不确定性建模贝叶斯推理的随机函数替代了确定性生成器。通过蒙特卡洛采样对生成器和判别器参数进行积分，BC-GANs 提升了训练稳定性，减少了过拟合，并在仅使用每类 10 个标注样本的情况下，在 CIFAR-10 上实现了半监督学习的最先进性能。

ABSTRACT

Traditional GANs use a deterministic generator function (typically a neural network) to transform a random noise input $z$ to a sample $\mathbf{x}$ that the discriminator seeks to distinguish. We propose a new GAN called Bayesian Conditional Generative Adversarial Networks (BC-GANs) that use a random generator function to transform a deterministic input $y'$ to a sample $\mathbf{x}$. Our BC-GANs extend traditional GANs to a Bayesian framework, and naturally handle unsupervised learning, supervised learning, and semi-supervised learning problems. Experiments show that the proposed BC-GANs outperforms the state-of-the-arts.

研究动机与目标

• 通过为生成器和判别器引入贝叶斯框架，解决传统 GAN 中的不稳定性和过拟合问题。
• 通过模型不确定性统一无监督、有监督和半监督学习，构建单一的条件 GAN 架构。
• 用确定性条件输入替代输入噪声，并利用参数不确定性作为生成多样性来源。
• 通过蒙特卡洛采样对模型参数进行积分，提升泛化能力和鲁棒性。
• 在 GAN 目标函数中引入最大均值差异（MMD）作为正则化项以提升性能。

提出的方法

• 将 GAN 中的确定性生成器替换为随机函数 $ f_G $，该函数将确定性输入 $ y' $ 映射为生成样本 $ \mathbf{x} $，其中 $ f_G $ 由随机权重 $ \boldsymbol{\omega} $ 参数化。
• 将生成器和判别器建模为具有先验 $ p(\boldsymbol{\omega}) $ 和 $ p(\boldsymbol{\theta}) $ 的随机函数，并通过在这些参数上进行蒙特卡洛采样实现贝叶斯推理。
• 使用伯努利分布和高斯分布 dropout 作为近似贝叶斯推理方法，以在生成器和判别器网络中引入不确定性。
• 通过对其参数进行边缘化，对生成器和判别器函数进行积分，从而得到减少过拟合的贝叶斯目标。
• 在 GAN 损失中引入最大均值差异（MMD）作为正则化项，以改善真实样本与生成样本之间的分布对齐。
• 在极小化-极大化框架下采用交替优化训练模型，其中生成器函数空间中的不确定性驱动样本多样性。

实验结果

研究问题

• RQ1 用确定性条件输入替代输入噪声，并对生成器不确定性进行建模，是否能提升 GAN 的稳定性和性能？
• RQ2 对生成器和判别器参数进行贝叶斯积分，如何影响 GAN 的泛化能力和过拟合？
• RQ3 BC-GAN 能否在一个单一的条件 GAN 框架中统一无监督、有监督和半监督学习？
• RQ4 在贝叶斯推理的基础上结合使用 MMD 作为正则化项，是否能进一步提升样本质量和分布匹配效果？
• RQ5 在低数据场景下（如每类仅 10 个标注样本），BC-GAN 的性能与最先进方法相比如何？

主要发现

• 在使用全部 50,000 个训练标签的情况下，BC-GANs 在 CIFAR-10 上的测试误差为 $ 7.9 \pm 0.3\% $，优于先前的最先进方法。
• 仅使用每类 10 个标注样本时，BC-GANs 通过 MAP-MC 采样实现 $ 20.9 \pm 1.05\% $ 的测试误差，展现出强大的少样本泛化能力。
• Langevin dynamics 变体在使用 1,000 个标注样本时达到 $ 25.8 \pm 1.45\% $ 的误差，表明性能优异，但部分类别存在潜在的模式崩溃现象。
• 可视化样本显示，生成结果具有多样性且条件于类别，列间语义一致，表明有效实现了特征解耦与多样性。
• 贝叶斯框架随训练时间推移降低了方差，判别器逐渐变得更加自信和稳定。
• 将 MMD 集成到 GAN 目标函数中，相比标准 GAN，显著提升了分布对齐效果和样本质量。