[论文解读] Generative Adversarial Network using Perturbed-Convolutions.

Seung Park, Yoon-Jae Yeo+1 more|arXiv (Cornell University)|Jan 19, 2021

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

本文提出了一种新型卷积层——扰动卷积（PConv），通过在卷积前对输入张量进行随机扭曲，稳定了生成对抗网络（GAN）的训练过程，减少了判别器过拟合现象，并促使局部Lipschitz常数保持较小值。该方法在tiny-ImageNet数据集上将FID分数提升了8.17分，达到50.42，相较于基线GAN模型的58.59有显著改进。

ABSTRACT

Despite growing insights into the GAN training, it still suffers from instability during the training procedure. To alleviate this problem, this paper presents a novel convolutional layer, called perturbed-convolution (PConv), which focuses on achieving two goals simultaneously: penalize the discriminator for training GAN stably and prevent the overfitting problem in the discriminator. PConv generates perturbed features by randomly disturbing an input tensor before performing the convolution operation. This approach is simple but surprisingly effective. First, to reliably classify real and generated samples using the disturbed input tensor, the intermediate layers in the discriminator should learn features having a small local Lipschitz value. Second, due to the perturbed features in PConv, the discriminator is difficult to memorize the real images; this makes the discriminator avoid the overfitting problem. To show the generalization ability of the proposed method, we conducted extensive experiments with various loss functions and datasets including CIFAR-10, CelebA-HQ, LSUN, and tiny-ImageNet. Quantitative evaluations demonstrate that WCL significantly improves the performance of GAN and conditional GAN in terms of Frechet inception distance (FID). For instance, the proposed method improves FID scores on the tiny-ImageNet dataset from 58.59 to 50.42.

研究动机与目标

• 为解决GAN训练中，尤其是判别器部分的不稳定性和过拟合问题。
• 提升GAN在多样化数据集和损失函数下的泛化能力与鲁棒性。
• 设计一种简单但高效的卷积层，提升训练稳定性，同时避免引入复杂的网络结构。
• 通过在输入层引入扰动，降低判别器对真实图像的记忆倾向。
• 在仅做最小改动的前提下，实现多个基准数据集上的SOTA级FID性能。

提出的方法

• 扰动卷积（PConv）在标准卷积操作前，对输入张量施加随机扰动。
• 扰动在每次前向传播中独立应用，使判别器学习到对小范围输入变化具有不变性的特征。
• 这促使判别器中间层学习到具有较小局部Lipschitz常数的表征，从而提升训练稳定性。
• 随机扰动起到了正则化作用，减少了对真实图像的记忆，缓解了过拟合。
• 该方法兼容多种GAN架构和损失函数，包括WGAN和条件GAN。
• PConv为即插即用设计，无需修改生成器，对判别器的改动也极小。

实验结果

研究问题

• RQ1 在卷积过程中引入随机输入扰动，是否能提升GAN训练的稳定性？
• RQ2 PConv是否通过防止真实图像的记忆化，有效降低判别器的过拟合？
• RQ3 PConv能否在CIFAR-10、CelebA-HQ、LSUN和tiny-ImageNet等多样化数据集上提升泛化性能？
• RQ4 与标准GAN相比，PConv在FID分数上的提升程度如何？
• RQ5 PConv在不同损失函数和条件GAN设置下的表现如何？

主要发现

• PConv通过减少模式崩溃和损失发散，显著提升了GAN训练的稳定性。
• 在tiny-ImageNet数据集上，FID分数从58.59降至50.42，展现出显著的性能提升。
• 在多种损失函数下，PConv在CIFAR-10、CelebA-HQ和LSUN等所有评估数据集上均改善了FID分数。
• 由于输入层的扰动，采用PConv训练的判别器对真实图像的记忆显著减少。
• FID分数的提升在无条件和条件GAN设置下均保持一致。
• PConv在仅做极小架构修改且无需额外超参数的情况下，实现了SOTA级的FID性能。