[论文解读] Spatial Frequency Bias in Convolutional Generative Adversarial Networks

Mahyar Khayatkhoei, Ahmed Elgammal|arXiv (Cornell University)|Oct 4, 2020

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

本文识别出卷积 GAN 中存在一种系统性的空间频率偏差，这种偏差会阻碍对高频分量的学习，即使在数据中高频分量非常明显的情况下也是如此。本文提出了一种频率域梯度（FSG）方法，以极低的计算成本操控这种偏差，显著提升了 GAN 在高频内容上的性能，且无需改变网络架构或训练动态。

ABSTRACT

As the success of Generative Adversarial Networks (GANs) on natural images quickly propels them into various real-life applications across different domains, it becomes more and more important to clearly understand their limitations. Specifically, understanding GANs' capability across the full spectrum of spatial frequencies, i.e. beyond the low-frequency dominant spectrum of natural images, is critical for assessing the reliability of GAN generated data in any detail-sensitive application (e.g. denoising, filling and super-resolution in medical and satellite images). In this paper, we show that the ability of convolutional GANs to learn a distribution is significantly affected by the spatial frequency of the underlying carrier signal, that is, GANs have a bias against learning high spatial frequencies. Crucially, we show that this bias is not merely a result of the scarcity of high frequencies in natural images, rather, it is a systemic bias hindering the learning of high frequencies regardless of their prominence in a dataset. Furthermore, we explain why large-scale GANs' ability to generate fine details on natural images does not exclude them from the adverse effects of this bias. Finally, we propose a method for manipulating this bias with minimal computational overhead. This method can be used to explicitly direct computational resources towards any specific spatial frequency of interest in a dataset, extending the flexibility of GANs.

研究动机与目标

• 调查卷积 GAN 是否在数据分布无关的情况下，对学习高空间频率表现出系统性偏差。
• 证明该偏差源于卷积滤波器频谱中的固有线性依赖关系，而不仅仅是数据稀缺所致。
• 开发一种方法，以显式方式控制 GAN 中的空间频率偏差，从而提升对高频细节的性能表现。
• 表明即使在能够生成精细细节的大规模 GAN 中，该偏差仍会阻碍高频学习。
• 提出一种基于频谱分辨率的度量方法，用于评估 GAN 在不同频率带上的性能表现。

提出的方法

• 提出一种频率域梯度（FSG）方法，通过向生成器损失中注入特定频率的梯度，以重新定向计算关注点至目标空间频率。
• 引入一种基于图像块在频域中特征对比的频谱分辨率度量方法，实现对 GAN 在不同频率带上的性能评估。
• 推导出一个定理（定理 1），证明卷积滤波器的频谱存在线性依赖关系，从而在数学上天然偏好低频而非高频。
• 采用拉普拉斯金字塔分析方法，对图像特征进行分解，以在不同频率层级上评估 GAN 的性能。
• 使用基于分形的合成数据集（科赫雪花）来隔离并展示该偏差，因其包含在自然图像中不常见的高频内容。
• 在训练过程中应用 FSG 方法，以显式增强高频分量的学习，通过功率谱对比和感知度量进行验证。

实验结果

研究问题

• RQ1 当高频分量在数据中丰富时，卷积 GAN 在不同空间频率上的性能是否仍存在显著差异？
• RQ2 观察到的高频学习偏差是由于数据稀疏性，还是卷积网络架构的内在属性所致？
• RQ3 是否可以系统性地操控 GAN 中的空间频率偏差，以改善高频分量的学习？
• RQ4 为何大规模 GAN 尽管在生成精细纹理方面表现优异，却仍难以处理高频细节？
• RQ5 判别器检测高频差异的能力在多大程度上导致了 GAN 训练的不稳定性？

主要发现

• 卷积 GAN 即使在训练数据中高频分量占主导地位的情况下，仍表现出对学习高频空间频率的系统性偏差，该现象已在包含高频内容的分形数据集上得到验证。
• 该偏差源于卷积滤波器频谱中的线性依赖关系，数学上天然偏好低频，该结论已在定理 1 中形式化证明。
• 即使在最先进的模型如 StyleGAN2 中，大模型 GAN 在高频分量上的表现仍不理想，表明该偏差在当前最先进模型中依然存在。
• 所提出的 FSG 方法以极低的计算开销成功提升了高频学习能力，显著改善了生成图像的功率谱匹配度。
• FSG 方法允许显式控制哪些频率带获得更多的训练关注，从而增强了 GAN 在对细节敏感的应用中的灵活性。
• 研究发现判别器受该偏差的影响小于生成器，提示这可能是 GAN 训练不稳定性的一个潜在来源。