[论文解读] Improved Training of Generative Adversarial Networks Using Representative Features

Duhyeon Bang, Hyunjung Shim|arXiv (Cornell University)|Jan 28, 2018

Advanced Image Processing Techniques参考文献 32被引用 15

一句话总结

本文提出代表特征生成对抗网络（RFGAN），通过将预训练自编码器的代表特征迁移至判别器，提升了生成对抗网络（GAN）训练的稳定性，并打破了图像质量与多样性之间的权衡。通过利用最小化前向KL散度的特征隐式正则化判别器，RFGAN平衡了反向KL与前向KL的影响，减少了模式崩溃，同时在多种GAN架构中提升了视觉保真度与样本多样性。

ABSTRACT

Despite the success of generative adversarial networks (GANs) for image generation, the trade-off between visual quality and image diversity remains a significant issue. This paper achieves both aims simultaneously by improving the stability of training GANs. The key idea of the proposed approach is to implicitly regularize the discriminator using representative features. Focusing on the fact that standard GAN minimizes reverse Kullback-Leibler (KL) divergence, we transfer the representative feature, which is extracted from the data distribution using a pre-trained autoencoder (AE), to the discriminator of standard GANs. Because the AE learns to minimize forward KL divergence, our GAN training with representative features is influenced by both reverse and forward KL divergence. Consequently, the proposed approach is verified to improve visual quality and diversity of state of the art GANs using extensive evaluations.

研究动机与目标

• 为解决GAN中长期存在的图像质量与多样性之间的权衡问题，该问题常导致模式崩溃或样本质量低下。
• 在不修改原始GAN目标函数或添加显式正则化项的前提下，提升GAN训练的稳定性。
• 利用预训练自编码器提取的代表特征，隐式正则化判别器，从而引导其考虑整体数据分布。
• 证明所提方法在多种GAN架构中具有鲁棒性，且在结合梯度惩罚时依然有效。
• 通过验证潜在空间插值的平滑性，排除数据过拟合的可能性，证明改进并非源于过拟合。

提出的方法

• 使用预训练自编码器从真实数据分布中提取代表特征，并将这些特征迁移至标准GAN的判别器中。
• 通过引入这些特征对判别器进行隐式正则化，这些特征被学习以最小化前向KL散度，从而促进模式覆盖。
• 反向KL（来自标准GAN损失）与前向KL（来自代表特征）的联合影响稳定了训练过程，减少了模式崩溃。
• 自编码器在GAN训练前独立训练并冻结，确保代表特征从一开始就稳定且具有信息量。
• 该方法兼容多种GAN架构，包括DCGAN、LSGAN、WGAN-GP和DRAGAN，且可与梯度惩罚结合使用。
• 该方法不改变原始GAN目标函数，保留了极小化极大公式，同时通过特征注入增强了判别器的行为。

实验结果

研究问题

• RQ1 来自预训练自编码器的代表特征是否能提升GAN训练的稳定性并减少模式崩溃？
• RQ2 通过特征注入实现的反向KL与前向KL影响的结合，是否能带来更好的图像多样性和视觉质量？
• RQ3 所提方法在不同GAN架构中是否具有鲁棒性，且在结合梯度惩罚时依然有效？
• RQ4 改进是否可归因于潜在空间结构的优化，而非数据过拟合？
• RQ5 该方法是否在不修改原始GAN目标函数的前提下，提升了训练速度与收敛性？

主要发现

• RFGAN在所有测试的GAN架构中显著提升了图像多样性，MS-SSIM分数接近真实数据，尤其在DCGAN-RF中表现最为突出，相比基线DCGAN有显著改进。
• DRAGAN-RF在MS-SSIM上表现最佳，生成的样本最具多样性；而DCGAN-RF由于模式崩溃大幅减少，其性能提升最为显著。
• 当在编码器中使用残差块时，DCGAN-RF的Inception分数提升至6.73，表明架构改进可进一步提升性能。
• ALI/BiGAN和AGE的MS-SSIM分数相近，但Inception分数显著偏低（分别为5.34和5.90），表明视觉质量较差；而RFGAN的Inception分数超过6.20。
• RFGAN中的潜在空间插值显示出生成图像之间平滑的过渡，证实模型学习到了有意义的潜在空间，且未出现过拟合。
• 由于初始特征具有信息量，该方法加速了训练初期的收敛，并在无需显式正则化或目标函数修改的情况下保持了训练稳定性。