[论文解读] Generative Multi-Adversarial Networks
本文提出生成式多对抗网络（GMAN），一种通过使用多个判别器来稳定并加速训练的 GAN 扩展框架。通过采用多样化且去相关的判别器，GMAN 实现了在原始极小化极大目标下的可靠训练，相较于标准 GAN，可在更少的迭代次数内生成更高品质的图像，该结论通过一种新型成对度量（GMAM）得到验证。
Generative adversarial networks (GANs) are a framework for producing a generative model by way of a two-player minimax game. In this paper, we propose the \emph{Generative Multi-Adversarial Network} (GMAN), a framework that extends GANs to multiple discriminators. In previous work, the successful training of GANs requires modifying the minimax objective to accelerate training early on. In contrast, GMAN can be reliably trained with the original, untampered objective. We explore a number of design perspectives with the discriminator role ranging from formidable adversary to forgiving teacher. Image generation tasks comparing the proposed framework to standard GANs demonstrate GMAN produces higher quality samples in a fraction of the iterations when measured by a pairwise GAM-type metric.
研究动机与目标
- 为解决标准 GAN 中持续存在的训练不稳定性问题，该问题通常需要对极小化极大目标进行启发式修改。
- 开发一种多判别器框架，使原始、未经修改的极小化极大目标能够实现可靠训练。
- 提出一种新型成对评估度量 GMAM，用于比较独立训练的生成模型。
- 证明多个判别器可同时作为强大对手与宽容教师，从而提升生成器性能。
提出的方法
- 提出 GMAN，一种 GAN 的多判别器扩展，其中多个判别器以不同架构和丢弃率并行训练。
- 引入 GMAN∗，一种变体，通过判别器输出的软最大值聚合来动态调节生成器训练。
- 通过辅助变量 Λ 和 log-sigmoid 变换，采用一种新型无约束极小化极大公式化，以实现端到端优化。
- 在生成器和判别器网络中使用批量归一化以及 ReLU/Tanh 激活函数，并采用步幅卷积和转置卷积进行特征学习。
- 应用 AdaBoost.OL 将弱学习器（判别器）与未知或负边际值相结合，提升鲁棒性。
- 实施一种训练策略，将小批量样本分配给不同判别器，以降低其梯度的相关性，增强多样性。
实验结果
研究问题
- RQ1多个判别器是否能在不修改极小化极大目标的启发式方法下，稳定 GAN 训练？
- RQ2判别器角色（从对手到教师）的变化如何影响生成器性能？
- RQ3多判别器框架是否能在比标准 GAN 更少的训练迭代次数内生成更高品质的样本？
- RQ4是否存在一种稳健的、用于评估独立训练的生成模型的成对度量？
- RQ5判别器输出的软最大值聚合是否能实现生成器训练的自动、自适应调节？
主要发现
- GMAN 在不使用启发式修改的情况下，使用原始极小化极大目标，生成的图像质量优于标准 GAN。
- GMAN∗ 显著减少训练时间，在远少于标准 GAN 所需迭代次数的情况下达到更高性能。
- 所提出的 GMAM 度量能有效量化独立训练模型之间的成对性能差异。
- 使用架构和丢弃率各异的判别器可提升泛化能力与生成样本质量。
- GMAN∗ 中的软最大值聚合实现了自动、自适应的训练调节，提升了收敛速度与生成样本保真度。
- 在 MNIST、CelebA 和 CIFAR-10 上的实验表明，所有基准测试中样本质量与训练稳定性均持续提升。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。