[论文解读] Boundary-Seeking Generative Adversarial Networks

R Devon Hjelm, Athul Paul Jacob+4 more|arXiv (Cornell University)|Feb 27, 2017

Generative Adversarial Networks and Image Synthesis参考文献 36被引用 112

一句话总结

BGAN 通过判别器引入基于重要性权重的策略梯度，用于在离散数据上训练 GAN，并将目标扩展到连续数据以提升稳定性。

ABSTRACT

Generative adversarial networks (GANs) are a learning framework that rely on training a discriminator to estimate a measure of difference between a target and generated distributions. GANs, as normally formulated, rely on the generated samples being completely differentiable w.r.t. the generative parameters, and thus do not work for discrete data. We introduce a method for training GANs with discrete data that uses the estimated difference measure from the discriminator to compute importance weights for generated samples, thus providing a policy gradient for training the generator. The importance weights have a strong connection to the decision boundary of the discriminator, and we call our method boundary-seeking GANs (BGANs). We demonstrate the effectiveness of the proposed algorithm with discrete image and character-based natural language generation. In addition, the boundary-seeking objective extends to continuous data, which can be used to improve stability of training, and we demonstrate this on Celeba, Large-scale Scene Understanding (LSUN) bedrooms, and Imagenet without conditioning.

研究动机与目标

• 通过利用判别器的 f-散度估计来为生成器更新形成重要性权重，为离散数据的 GAN 提供一个有原则的方法。
• 开发一个低方差、边界寻求的目标，使生成器梯度在离散和连续数据下都更稳定。
• 在离散图像和字符级语言任务上证明有效性，并在高维连续基准上显示出稳定性提升。

提出的方法

• 采用 f-散度对偶形式来表达 GAN 目标，使用神经判别器 T_phi 导出变分下界。
• 使用判别器计算最优重要性权重 w(x) = (d f* / dT)(T(x))，并定义密度估计 tilde{p}(x) = w(x) q_theta(x) / beta。
• 对于离散数据，使用基于重要性加权估计量的策略梯度式更新实现，包括对变量 z 条件化以降低方差的低方差形式（tilde{p}(x|z)）。
• 为生成器提出一个连续 BGAN 目标以改善稳定性：最小化 (log w(G_theta(z)))^2，等价地 F_phi(G_theta(z))^2，在优化时表现更好。
• 提供离散 BGAN 训练的算法（算法 1），包含归一化权重的计算以及对生成器和判别器的梯度更新。
• 将框架扩展到基于 REINFORCE 的变体，并将其与用于降低方差的基线技术相联系（通过类似 beta 的常数）。

实验结果

研究问题

• RQ1 是否可通过来自 f-散度判别器的边界寻求目标来实现对离散数据的有效 GAN 训练？
• RQ2 在离散和连续设置下，边界寻求和重要性权重目标是否比标准 GAN 和 WGAN-GP 提高稳定性和性能？
• RQ3 边界寻求方法是否可扩展到连续数据并在高维图像基准上提供稳定性收益？
• RQ4 在离散任务中将不同的 f-散度（GAN、Jensen-Shannon、KL、Reverse KL、Squared-Hellinger）与 BGAN 一起使用时的表现如何？
• RQ5 梯度范数正则化对连续 BGAN 训练稳定性的影响是什么？

主要发现

• BGAN 通过使用判别器派生的重要性权重来为生成器形成策略梯度，从而实现对离散数据的训练。
• 在离散 CIFAR-10 分类实验中，带有重要性采样的 BGAN 达到有竞争力的错误率（约 26%），在一个具有挑战性的设置中显著优于 WGAN。
• 离散 MNIST 和量化的 CelebA 实验显示稳定的训练和现实且多样的样本，在它们的设置中表现优于 WGAN-GP。
• 在十亿词数据的字符级语言生成中表明，离散 BGAN 能在不进行连续松弛的情况下学习有意义的模式，显示出稳定性和可行性。
• 在 CelebA、LSUN 和 ImageNet 上进行的带梯度范数正则化的连续 BGAN 实验产出高质量样本；BGAN 在高维设置中保持稳定。
• 一个连续 BGAN 目标 (log w(G_theta(z)))^2 相较于仅依赖变分下界在优化稳定性上有所提升，特别是在使用梯度范数正则化时。