[论文解读] SSD-GAN: Measuring the Realness in the Spatial and Spectral Domains

Yuanqi Chen, Ge Li+3 more|arXiv (Cornell University)|Dec 10, 2020

Image and Signal Denoising Methods参考文献 30被引用 13

一句话总结

本文提出SSD-GAN，一种通过整合频域感知分类器，使判别器在空间域和光谱域同时衡量真实感的生成对抗网络（GAN）框架，从而减少光谱差异并提升高频细节生成能力。该方法在无需架构大规模改动的情况下，在多个数据集上实现了最先进（SOTA）的FID分数。

ABSTRACT

This paper observes that there is an issue of high frequencies missing in the discriminator of standard GAN, and we reveal it stems from downsampling layers employed in the network architecture. This issue makes the generator lack the incentive from the discriminator to learn high-frequency content of data, resulting in a significant spectrum discrepancy between generated images and real images. Since the Fourier transform is a bijective mapping, we argue that reducing this spectrum discrepancy would boost the performance of GANs. To this end, we introduce SSD-GAN, an enhancement of GANs to alleviate the spectral information loss in the discriminator. Specifically, we propose to embed a frequency-aware classifier into the discriminator to measure the realness of the input in both the spatial and spectral domains. With the enhanced discriminator, the generator of SSD-GAN is encouraged to learn high-frequency content of real data and generate exact details. The proposed method is general and can be easily integrated into most existing GANs framework without excessive cost. The effectiveness of SSD-GAN is validated on various network architectures, objective functions, and datasets. Code will be available at https://github.com/cyq373/SSD-GAN.

研究动机与目标

• 探究标准GAN为何无法在生成图像中重现高频内容。
• 识别判别器中的下采样层导致高频信息丢失，进而引发光谱分布不匹配。
• 提出一种可泛化的GAN增强方法，使判别器能够同时评估空间域和光谱域的真实感。
• 验证减少光谱差异可提升生成模型的图像质量和真实感。

提出的方法

• 在判别器中引入频域感知分类器，以检测真实图像与生成图像之间的光谱差异。
• 修改GAN损失函数，通过加权组合的方式联合优化空间真实感与光谱真实感。
• 利用傅里叶变换分析频率分量，借助其双射性质以确保光谱保真度。
• 将增强后的判别器以最小架构改动方式集成至现有GAN框架，计算开销极低。
• 训练生成器以最小化空间损失与光谱损失，从而促使它从真实数据中学习高频细节。
• 将该方法应用于多种GAN架构（如SNGAN、StyleGAN）和数据集（CIFAR100、STL10、LSUN），以验证其泛化能力。

实验结果

研究问题

• RQ1 为何标准GAN尽管在空间真实感方面表现良好，却仍无法在生成图像中重现高频内容？
• RQ2 判别器中的下采样过程如何导致高频光谱信息的丢失？
• RQ3 能否通过提升判别器中光谱真实感的度量能力，实现更好的图像生成质量？
• RQ4 所提方法是否可在不同GAN架构和数据集上实现良好泛化？
• RQ5 在空间真实感与光谱真实感之间平衡性能对FID分数和感知质量有何影响？

主要发现

• SSD-SNGAN+REG在LSUN-128上取得最低FID分数10.61，优于SNGAN+REG（10.61）和SNGAN+DWT（148.05），表现更优。
• 该方法显著降低了真实图像与生成图像之间的光谱差异，光谱域相似性得到改善。
• SSD-GAN在CIFAR100-32、STL10-48和LSUN-128上均实现一致的性能提升，FID分数分别为19.25、35.41和10.61。
• 控制空间与光谱真实感之间权衡的超参数λ表现出鲁棒性，不同取值下性能稳定。
• 频域感知分类器能有效捕捉光谱差异，使生成器能够学习到精细细节与高频纹理。
• 该方法泛化能力强，无需显著改变架构，即可在多种GAN架构和目标函数下提升性能。