[论文解读] An Improved Self-supervised GAN via Adversarial Training

Ngoc-Trung Tran, Viet-Hung Tran+2 more|arXiv (Cornell University)|May 14, 2019

Generative Adversarial Networks and Image Synthesis参考文献 35被引用 9

一句话总结

本文提出了一种改进的自监督生成对抗网络（GAN），通过训练判别器对经过几何变换的真实图像进行分类（自监督分类），同时区分假样本与这些伪类别，从而提升生成器的质量。生成器通过最小化变换后假样本的交叉熵损失进行训练，使其与真实样本的表征相匹配。该方法通过稳定训练过程并提升模式覆盖能力，在CIFAR-10和STL-10上实现了新的SOTA FID分数。

ABSTRACT

We propose to improve unconditional Generative Adversarial Networks (GAN) by training the self-supervised learning with the adversarial process. In particular, we apply self-supervised learning via the geometric transformation on input images and assign the pseudo-labels to these transformed images. (i) In addition to the GAN task, which distinguishes data (real) versus generated (fake) samples, we train the discriminator to predict the correct pseudo-labels of real transformed samples (classification task). Importantly, we find out that simultaneously training the discriminator to classify the fake class from the pseudo-classes of real samples for the classification task will improve the discriminator and subsequently lead better guides to train generator. (ii) The generator is trained by attempting to confuse the discriminator for not only the GAN task but also the classification task. For the classification task, the generator tries to confuse the discriminator recognizing the transformation of its output as one of the real transformed classes. Especially, we exploit that when the generator creates samples that result in a similar loss (via cross-entropy) as that of the real ones, the training is more stable and the generator distribution tends to match better the data distribution. When integrating our techniques into a state-of-the-art Auto-Encoder (AE) based-GAN model, they help to significantly boost the model's performance and also establish new state-of-the-art Fréchet Inception Distance (FID) scores in the literature of unconditional GAN for CIFAR-10 and STL-10 datasets.

研究动机与目标

• 通过引入更强的监督信号，解决无条件GAN中的模式崩溃与梯度消失问题。
• 通过在变换后的真实图像伪标签上进行训练，提升判别器的泛化能力。
• 通过匹配真实与假样本在变换后表征的交叉熵损失，提升生成器质量。
• 通过联合使用GAN损失与自监督分类目标，稳定训练过程并减少GAN中常见的发散问题。
• 在无需条件监督的情况下，实现在CIFAR-10和STL-10上的SOTA FID性能。

提出的方法

• 对真实图像应用几何变换（如旋转）并为其分配伪标签，用于自监督学习。
• 训练判别器执行双重任务：区分真实与假样本（原始GAN任务）以及对变换后真实图像的伪标签进行分类（自监督分类）。
• 训练判别器同时对变换后的假样本进行分类，将其归类为真实图像的伪类别之一，从而为判别器构建对抗性训练信号。
• 训练生成器以最小化变换后假样本在分类头上的交叉熵损失，确保生成样本与真实样本的表征一致。
• 通过超参数λd和λg的加权组合，将自监督分类损失与GAN损失相结合，超参数根据网络架构进行调优。
• 在GAN与自监督组件之间共享特征提取器，以确保表征学习的一致性。

实验结果

研究问题

• RQ1 通过几何变换进行自监督学习是否能提升无条件GAN中判别器的泛化能力？
• RQ2 在变换后的假样本上对判别器进行对抗性训练是否能提升模型性能？
• RQ3 通过匹配真实与假样本在变换后表征的交叉熵损失，是否能稳定训练并提升样本质量？
• RQ4 所提方法是否在无需条件监督的情况下，实现在CIFAR-10和STL-10上的SOTA FID分数？
• RQ5 超参数λd与λg在不同架构下的取值如何影响性能？

主要发现

• 所提方法在CIFAR-10和STL-10上实现了新的SOTA FID分数，显著优于基线GAN及先前的自监督GAN（如SSGAN）。
• 仅使用自监督基线即可在FID上超越标准GAN，证明了通过几何变换生成伪标签的有效性。
• 在变换后的假样本上对判别器进行对抗性训练，可提升判别器的鲁棒性并提供更优的生成器引导。
• 通过匹配真实与假样本在变换后表征的交叉熵损失，可稳定训练过程并提升模式覆盖能力。
• 该方法有效缓解了发散问题，尤其在深层网络（如ResNet）中表现显著，即使基线模型已趋于饱和。
• 在CIFAR-10和STL-10上，最优超参数为：DCGAN与ResNet中λg ≈ λd/10，SN-GAN中λg ≈ λd/50，可获得最佳性能。