[论文解读] Multi-class Generative Adversarial Networks with the L2 Loss Function.

Xudong Mao, Qing Li+3 more|arXiv (Cornell University)|Nov 13, 2016

Generative Adversarial Networks and Image Synthesis参考文献 11被引用 149

一句话总结

本文提出使用L2损失函数作为判别器的损失函数的多类别GAN，以稳定训练，解决标准GAN中使用Sigmoid交叉熵损失时常见的饱和问题。在包含3,740个类别的手写中文字符数据集上的实验表明，基于L2的方法能够在多个类别上实现稳定且高质量的图像生成。

ABSTRACT

Generative adversarial networks (GANs) have achieved huge success in unsupervised learning. Most of GANs treat the discriminator as a classifier with the binary sigmoid cross entropy loss function. However, we find that the sigmoid cross entropy loss function will sometimes lead to the saturation problem in GANs learning. In this work, we propose to adopt the L2 loss function for the discriminator. The properties of the L2 loss function can improve the stabilization of GANs learning. With the usage of the L2 loss function, we propose the multi-class generative adversarial networks for the purpose of image generation with multiple classes. We evaluate the multi-class GANs on a handwritten Chinese characters dataset with 3740 classes. The experiments demonstrate that the multi-class GANs can generate elegant images on datasets with a large number of classes. Comparison experiments between the L2 loss function and the sigmoid cross entropy loss function are also conducted and the results demonstrate the stabilization of the L2 loss function.

研究动机与目标

• 为解决标准GAN中Sigmoid交叉熵损失函数导致的训练不稳定性，特别是饱和问题。
• 提升GAN在大规模类别图像生成任务中的训练稳定性和性能表现。
• 提出一种基于L2损失函数的判别器的多类别GAN框架。
• 评估L2损失相较于标准Sigmoid交叉熵损失在多类别图像生成任务中的有效性。

提出的方法

• 将判别器中的标准Sigmoid交叉熵损失替换为L2损失函数，以提升训练稳定性。
• 设计一种能够处理大规模类别数据集（如3,740类手写中文字符）的多类别GAN架构。
• 通过L2损失端到端训练生成器与判别器，以最小化真实与生成特征表示之间的差异。
• 在判别器中使用多类别分类头，以区分所有类别的真实图像与生成图像。
• 通过最小化真实与生成特征图之间的L2损失，优化生成器以生成更逼真的样本。
• 对真实数据分布与生成数据分布均应用L2损失，以促使判别器学习更稳定且有意义的特征表示。

实验结果

研究问题

• RQ1 将Sigmoid交叉熵损失替换为L2损失是否能提升GAN的训练稳定性？
• RQ2 基于L2的判别器能否有效处理具有大量类别的多类别图像生成任务？
• RQ3 在图像质量和训练收敛性方面，基于L2损失的GAN相较于使用Sigmoid交叉熵损失的标准GAN表现如何？
• RQ4 L2损失函数是否能有效缓解GAN训练中的饱和问题？

主要发现

• L2损失函数显著降低了GAN训练中出现饱和的风险，从而实现了更稳定的训练动态。
• 所提出的基于L2损失的多类别GAN在3,740类手写中文字符数据集上成功生成了高质量图像。
• 对比实验表明，基于L2损失的GAN在训练稳定性和图像保真度方面优于使用Sigmoid交叉熵损失的标准GAN。
• L2损失促进了更优的特征空间优化，从而生成了更一致且逼真的样本。