[论文解读] Ensembles of Generative Adversarial Networks

Yaxing Wang, Lichao Zhang+1 more|arXiv (Cornell University)|Dec 3, 2016

Generative Adversarial Networks and Image Synthesis参考文献 14被引用 40

一句话总结

本文提出了一种生成对抗网络的自集成方法（seGANs），通过将同一初始设置但不同训练迭代次数的多个生成器模型进行组合，以改进数据分布建模。该方法在计算成本显著降低的情况下，实现了与标准集成方法（eGANs）相当的性能，在CIFAR-10图像检索任务中将平均最近邻距离降低了40%。

ABSTRACT

Ensembles are a popular way to improve results of discriminative CNNs. The combination of several networks trained starting from different initializations improves results significantly. In this paper we investigate the usage of ensembles of GANs. The specific nature of GANs opens up several new ways to construct ensembles. The first one is based on the fact that in the minimax game which is played to optimize the GAN objective the generator network keeps on changing even after the network can be considered optimal. As such ensembles of GANs can be constructed based on the same network initialization but just taking models which have different amount of iterations. These so-called self ensembles are much faster to train than traditional ensembles. The second method, called cascade GANs, redirects part of the training data which is badly modeled by the first GAN to another GAN. In experiments on the CIFAR10 dataset we show that ensembles of GANs obtain model probability distributions which better model the data distribution. In addition, we show that these improved results can be obtained at little additional computational cost.

研究动机与目标

• 探究生成对抗网络的集成是否能比单个生成对抗网络更好地建模真实数据分布。
• 探索在生成对抗网络非收敛训练动态背景下，计算效率更高的集成策略。
• 评估自集成方法（即从同一初始设置在不同训练阶段获取的模型）是否能与标准集成方法性能相当。
• 评估级联生成对抗网络（cGANs）在重新训练建模较差的数据区域方面的有效性，以提升生成质量。
• 为生成模型提供一种基于图像检索指标的定量评估框架。

提出的方法

• 通过组合从同一初始设置但不同训练迭代次数（例如30–40个周期）训练的多个生成器模型，提出自集成（seGANs）。
• 将标准集成（eGANs）作为基线，即在相同数据集上从不同随机初始设置训练多个生成对抗网络。
• 引入级联生成对抗网络（cGANs），将第一阶段生成对抗网络中误分类或生成质量差的样本重新定向至第二阶段生成对抗网络进行再训练。
• 采用图像检索作为评估指标，通过测量生成图像与真实测试图像之间的平均最近邻距离进行评估。
• 通过概率平均的方式组合多个生成器的输出，形成一个更鲁棒的单一模型分布。
• 在所有方法中固定生成图像数量为10,000张，以确保公平比较，包括在集成多个生成对抗网络时。

实验结果

研究问题

• RQ1 在CIFAR-10数据集上，生成对抗网络的集成是否能比单个生成对抗网络更好地建模真实数据分布？
• RQ2 自集成方法（seGANs）是否能在显著降低训练成本的同时，实现与标准集成方法（eGANs）相当的性能？
• RQ3 级联生成对抗网络方法（通过在建模较差的数据区域重新训练）是否能相比标准生成对抗网络提升生成质量？
• RQ4 级联生成对抗网络中数据重定向的最佳比例是多少，以实现性能最优？
• RQ5 图像检索指标是否能可靠地评估生成模型在分布相似性方面的质量？

主要发现

• 自集成（seGANs）的性能与标准集成（eGANs）相当，与单个生成对抗网络相比，平均最近邻距离降低了40%。
• 级联生成对抗网络的最佳性能出现在数据重定向比例为0.8时，显著优于单个生成对抗网络和标准集成方法。
• 使用8个模型的seGANs将平均最近邻距离降低至0.06%，相比单个生成对抗网络的0.11%提升了40%。
• seGANs的性能随着模型数量的增加而提升，但在4至8个模型之间趋于稳定，表明在此之后收益递减。
• 可视化示例显示，即使单个生成对抗网络无法生成与查询图像相似的图像，seGANs也能生成与之相似的图像。
• 图像检索指标被验证为可靠的评估工具，因为训练集分布的性能优于所有生成模型，证实其对分布保真度的敏感性。