[论文解读] Generative Adversarial Network based on Resnet for Conditional Image Restoration

Meng Wang, Huafeng Li+1 more|arXiv (Cornell University)|Jul 16, 2017

Generative Adversarial Networks and Image Synthesis参考文献 8被引用 10

一句话总结

本文提出ResGAN，一种将残差学习（ResNet）整合到图像恢复任务中的条件生成对抗网络。通过使用粗糙图像和类别标签作为条件输入，并利用跳跃连接保留空间特征，ResGAN在MNIST、CIFAR10/100和CelebA数据集上实现了更优的图像质量和稳定性，其损失更低、准确率更高，优于当前最先进（SOTA）的GAN模型。

ABSTRACT

The GANs promote an adversarive game to approximate complex and jointed example probability. The networks driven by noise generate fake examples to approximate realistic data distributions. Later the conditional GAN merges prior-conditions as input in order to transfer attribute vectors to the corresponding data. However, the CGAN is not designed to deal with the high dimension conditions since indirect guide of the learning is inefficiency. In this paper, we proposed a network ResGAN to generate fine images in terms of extremely degenerated images. The coarse images aligned to attributes are embedded as the generator inputs and classifier labels. In generative network, a straight path similar to the Resnet is cohered to directly transfer the coarse images to the higher layers. And adversarial training is circularly implemented to prevent degeneration of the generated images. Experimental results of applying the ResGAN to datasets MNIST, CIFAR10/100 and CELEBA show its higher accuracy to the state-of-art GANs.

研究动机与目标

• 为解决条件生成对抗网络（CGAN）在处理高维条件输入以及图像恢复过程中特征学习效率低下方面的局限性。
• 通过残差学习保留粗糙图像特征，提升图像生成质量，避免深层网络中的特征退化问题。
• 通过在判别器中嵌入分类器，为优化提供条件监督，从而提升对抗训练的稳定性和性能。
• 评估将ResNet架构与GAN结合用于条件图像恢复在多样化数据集上的有效性。
• 证明残差连接与条件监督的结合可共同提升图像恢复任务中的生成保真度和收敛性。

提出的方法

• 生成器以粗糙图像和类别标签作为输入，采用带有跳跃连接的残差网络（ResNet）架构，直接将低层次特征传递至深层网络。
• 在判别器中嵌入分类器以提供额外监督，从而实现更优的优化引导和更佳的特征学习。
• 采用循环式对抗训练以防止模式崩溃，并在生成过程中保持图像质量。
• 生成器与判别器通过交替的极小极大博弈进行训练，最小化基于Wasserstein距离定义的对抗损失，以提升训练稳定性。
• 网络在生成器中使用转置卷积，在判别器中使用步幅卷积，同时应用批量归一化以增强训练稳定性。
• 条件输入（类别标签和粗糙图像）在残差块中通过拼接或分别输入后融合的方式处理，以引导特征学习。

实验结果

研究问题

• RQ1 残差学习是否能提升条件GAN在图像恢复任务中的性能？
• RQ2 在判别器中嵌入分类器对生成图像的质量和稳定性有何影响？
• RQ3 跳跃连接在深层生成网络中对空间特征的保留程度如何？
• RQ4 所提出的ResGAN是否在标准基准测试中优于当前最先进（SOTA）的GAN模型，表现为更低的损失和更高的准确率？
• RQ5 该模型在高度退化的输入（如极度粗糙的图像）下表现如何？

主要发现

• 在MNIST数据集上，ResGAN实现了最低的训练损失（1.98）和最高的准确率（0.938），优于所有对比模型（GAN、DCGAN、WGAN和CGAN）。
• 在CIFAR10上，ResGAN的损失为2.97，准确率为0.794，优于DCGAN（4.66/0.831）和WGAN（3.79/0.726）。
• 在CIFAR100上，ResGAN的损失为6.55，准确率为0.612，显著优于CGAN（7.23/0.473）和WGAN（7.98/0.384）。
• 在CelebA数据集上，ResGAN的损失为10.57，准确率为0.237，尽管输入退化程度高，仍展现出在复杂人脸恢复任务中的强大性能。
• 视觉结果表明，即使在输入极度粗糙的情况下，ResGAN仍能成功恢复图像的精细细节，生成结果在所有数据集中均与真实图像高度相似。
• 消融实验结果证实，残差连接与嵌入分类器的判别器相结合，可显著增强特征保留能力并提升训练稳定性。