[论文解读] Class-Splitting Generative Adversarial Networks

Guillermo L. Grinblat, Lucas C. Uzal+1 more|arXiv (Cornell University)|Sep 21, 2017

Generative Adversarial Networks and Image Synthesis参考文献 15被引用 31

一句话总结

本文提出类分裂生成对抗网络（Class-Splitting GANs），一种通过在生成对抗网络自身学习的表示空间中进行聚类，以生成额外高层类别标签来增强条件生成对抗网络的方法。通过将原始类别标签与这些学习到的聚类相结合，该模型在监督和无监督设置下均在CIFAR-10和STL-10数据集上实现了最先进的Inception分数，显著提升了生成样本的质量，且无需依赖原始类别信息。

ABSTRACT

Generative Adversarial Networks (GANs) produce systematically better quality samples when class label information is provided., i.e. in the conditional GAN setup. This is still observed for the recently proposed Wasserstein GAN formulation which stabilized adversarial training and allows considering high capacity network architectures such as ResNet. In this work we show how to boost conditional GAN by augmenting available class labels. The new classes come from clustering in the representation space learned by the same GAN model. The proposed strategy is also feasible when no class information is available, i.e. in the unsupervised setup. Our generated samples reach state-of-the-art Inception scores for CIFAR-10 and STL-10 datasets in both supervised and unsupervised setup.

研究动机与目标

• 通过将有效类别标签数量增加至超过原始数据集类别，提升条件生成对抗网络中生成图像的质量。
• 在无原始类别标签可用的无监督设置下，实现有效的图像生成。
• 利用生成对抗网络模型学习到的表示空间，发现语义上有意义的高层聚类，以提升生成效果。
• 通过一种简单而有效的基于聚类的增强策略，在CIFAR-10和STL-10等基准数据集上实现最先进性能。

提出的方法

• 该方法对训练好的WGAN模型的判别器网络提取的潜在表示应用聚类（如k-means）。
• 从所得聚类中生成新的类别标签，并在训练期间用这些标签来条件化生成器。
• 使用原始数据集标签和新创建的基于聚类的标签，对生成器和判别器进行再训练，从而在条件生成对抗网络设置中有效增加类别数量。
• 该方法兼容监督和无监督训练，因为聚类应用于真实数据的表示，无论标签是否可用。
• 该方法采用稳定的WGAN-GP公式，支持使用深层架构（如ResNet）进行训练。
• 通过修改分类器头和条件输入，调整网络架构以处理增加的类别数量。

实验结果

研究问题

• RQ1 在训练好的生成对抗网络的表示空间中进行聚类，能否产生有助于提升样本质量的有意义的高层类别标签？
• RQ2 通过用自发现的聚类增强原始类别标签，是否能在监督和无监督设置下均实现更好的图像生成？
• RQ3 在CIFAR-10和STL-10上的Inception分数方面，该方法与最先进生成对抗网络相比表现如何？
• RQ4 该方法是否能在不依赖原始类别标签的情况下生成高质量样本？

主要发现

• 所提出的类分裂生成对抗网络在监督设置下的CIFAR-10数据集上实现了9.28的最先进Inception分数，超越了先前方法。
• 在CIFAR-10的无监督设置下，该方法实现了8.61的Inception分数，优于现有无监督基线方法。
• 在更具多样性的STL-10数据集上，该方法在监督设置下实现了8.79的Inception分数，表明其在高变异性数据上的有效性。
• 对生成样本的视觉检查显示，其质量与多样性显著提升，尤其在细节和结构一致性方面，优于标准WGAN-GP。
• 聚类结果揭示了语义上有意义的分组（如侧面视角的马、正面朝前的猫），表明该方法能发现高层且可解释的结构。
• 即使在缺乏原始类别标签的情况下，该方法仍保持有效性，展现出在无监督图像生成中的强劲性能。