[论文解读] Mixed batches and symmetric discriminators for GAN training

Thomas W. Lucas, Corentin Tallec+2 more|arXiv (Cornell University)|Jun 19, 2018

Generative Adversarial Networks and Image Synthesis被引用 25

一句话总结

该论文提出了一种新颖的 GAN 训练方法，采用混合批次和对称判别器以缓解模式崩溃问题。通过让判别器预测批次中真实样本与生成样本的比例，并利用改进的架构实现排列不变性，该方法使判别器能够访问全局分布统计信息，在 CIFAR10 和 CelebA 数据集上显著提升了模式覆盖率和生成质量，实现了最先进的 Inception Score（7.49）和 Fréchet Inception Distance（23.71）。

ABSTRACT

Generative adversarial networks (GANs) are pow- erful generative models based on providing feed- back to a generative network via a discriminator network. However, the discriminator usually as- sesses individual samples. This prevents the dis- criminator from accessing global distributional statistics of generated samples, and often leads to mode dropping: the generator models only part of the target distribution. We propose to feed the discriminator with mixed batches of true and fake samples, and train it to predict the ratio of true samples in the batch. The latter score does not depend on the order of samples in a batch. Rather than learning this invariance, we introduce a generic permutation-invariant discriminator ar- chitecture. This architecture is provably a uni- versal approximator of all symmetric functions. Experimentally, our approach reduces mode col- lapse in GANs on two synthetic datasets, and obtains good results on the CIFAR10 and CelebA datasets, both qualitatively and quantitatively.

研究动机与目标

• 为了解决 GAN 中的模式崩溃问题，使判别器能够访问生成样本的全局分布统计信息。
• 克服标准 GAN 的局限性，即单个样本的判别无法检测目标分布中缺失的模式。
• 设计一种对批次中样本顺序不变的判别器架构，确保其学习批次的对称函数。
• 通过实证验证，混合批次训练结合对称判别器可同时提升 GAN 的定性和定量性能。

提出的方法

• 在包含真实样本和生成样本的混合批次上训练判别器，目标是预测批次中真实样本的比例。
• 提出一种基于 McGregor（2007）改进版本的排列不变判别器架构，该架构已被证明可普遍逼近所有对称连续函数。
• 对现有 GAN 架构进行最小改动，通过在批次元素上使用对称聚合层，强制实现排列不变性。
• 引入批次平滑技术，使用超参数 γ 控制批次纯度，实现训练稳定性与模式覆盖率之间的权衡。
• 采用标准 GAN 训练流程，交替更新生成器和判别器，其中判别器通过最小化比例预测损失进行训练。
• 将对称判别器集成到标准 GAN 框架（如 BGAN 和 M-BGAN）中，在可能的情况下保持模型架构和超参数不变。

实验结果

研究问题

• RQ1 在真实与虚假样本的混合批次上训练 GAN 判别器，是否能相比纯批次提升模式覆盖率？
• RQ2 排列不变判别器架构是否能证明逼近所有批次的对称函数，从而实现对全局分布统计信息的访问？
• RQ3 所提出的对称判别器架构是否能在合成数据集和真实世界数据集上减少 GAN 中的模式崩溃？
• RQ4 批次平滑超参数 γ 如何影响训练动态和模型性能？
• RQ5 该方法是否能在不进行架构大规模重构的情况下，在 CIFAR10 和 CelebA 上实现最先进的 Inception Score 和 Fréchet Inception Distance？

主要发现

• 所提出的方法结合混合批次与对称判别器，在 CIFAR10 上实现了 7.49 ± 0.06 的 Inception Score 和 23.71 的 Fréchet Inception Distance，优于标准 GAN，且与最先进方法持平或超越。
• 在合成多模态数据集上，该方法成功拟合了大部分模式，而使用纯批次的标准 GAN 因模式丢失而迅速发散。
• 对称判别器架构被证明是所有对称连续函数的通用逼近器，确保了全局批次统计信息的保留。
• 当 γ = 0.5 时，批次平滑显著提升了训练稳定性和性能，较高的 γ 值更有利于生成器，较低的 γ 值更有利于判别器。
• 在 CelebA 上的定性结果表明，使用混合批次和对称判别机制的 M-BGAN 生成了质量更高、多样性更强的样本。
• 该方法在 Inception Score 和 FID 上均优于批次判别（Salimans et al., 2016）和标准 GAN，各项指标均表现出一致的提升。