[论文解读] Focal Frequency Loss for Image Reconstruction and Synthesis

Liming Jiang, Bo Dai+2 more|arXiv (Cornell University)|Dec 23, 2020

Advanced Vision and Imaging参考文献 78被引用 29

一句话总结

本文提出焦点频率损失（FFL），一种新颖的频域损失函数，通过使用动态谱权重矩阵对易学习频率进行降权，自适应地强调图像生成过程中难以合成的高频分量。FFL通过缩小真实图像与生成图像在频域中的差距，在多种模型（包括VAE、pix2pix、SPADE和StyleGAN2）上显著提升了感知质量和定量指标。

ABSTRACT

Image reconstruction and synthesis have witnessed remarkable progress thanks to the development of generative models. Nonetheless, gaps could still exist between the real and generated images, especially in the frequency domain. In this study, we show that narrowing gaps in the frequency domain can ameliorate image reconstruction and synthesis quality further. We propose a novel focal frequency loss, which allows a model to adaptively focus on frequency components that are hard to synthesize by down-weighting the easy ones. This objective function is complementary to existing spatial losses, offering great impedance against the loss of important frequency information due to the inherent bias of neural networks. We demonstrate the versatility and effectiveness of focal frequency loss to improve popular models, such as VAE, pix2pix, and SPADE, in both perceptual quality and quantitative performance. We further show its potential on StyleGAN2.

研究动机与目标

• 解决图像生成中真实图像与生成图像在频域中持续存在的差距，特别是高频细节的丢失以及棋盘状伪影等问题。
• 克服神经网络的谱偏差，即倾向于学习低频分量而忽略难以合成的高频分量。
• 开发一种频域损失函数，使模型在训练过程中能够自适应地聚焦于困难的频率分量。
• 通过直接优化频域表示来提升图像重建与合成质量，作为现有空间域损失的补充。
• 证明FFL在多种架构（包括自编码器、生成对抗网络和风格化生成器）中的通用性与有效性。

提出的方法

• 使用离散傅里叶变换（DFT）将输入图像与生成图像转换为频域表示，以捕捉幅度与相位信息。
• 将每个频率分量表示为结合幅度与相位的二维向量，实现在频域中的联合优化。
• 定义真实图像与生成图像频域向量之间的缩放欧氏距离，以度量频谱差异。
• 引入一个动态谱权重矩阵，在训练过程中对易学习频率（低损失）进行降权，对难学习频率（高损失）进行升权。
• 对频域损失应用类似焦点损失的加权策略，通过非均匀分布实现对困难频率分量的自适应聚焦。
• 将FFL作为与现有空间损失（如感知损失、L1/L2损失）互补的目标函数，以增强整体训练的稳定性和质量。

实验结果

研究问题

• RQ1 在频域中进行优化是否能超越空间域损失，显著提升图像重建与合成质量？
• RQ2 神经网络中的谱偏差在多大程度上阻碍了生成图像中高频分量的学习？
• RQ3 一种能自适应强调困难频率的频域感知损失函数，是否能带来更优的感知效果与更优的定量结果？
• RQ4 FFL在多种架构（包括VAE、pix2pix、SPADE和StyleGAN2）中的表现如何？
• RQ5 FFL是否能有效减少生成对抗网络图像中常见的周期性伪影与频谱失真？

主要发现

• FFL显著提升了FID分数：在CelebA-HQ（1024×1024）数据集上，使用FFL的StyleGAN2模型FID达到3.374，优于原始模型的3.733。
• 在图像到图像翻译任务（边缘图→鞋子）中，FFL将FID从基线的80.279降低至74.359，IS从2.674提升至2.804。
• 在动漫人像（64×64）数据集中，FFL将PSNR从19.885提升至20.657，SSIM从0.575提升至0.628，LFD从14.822降低至14.644。
• 视觉分析表明，FFL缩小了频域差距：使用FFL训练的VAE不再偏向于有限的频谱区域，能够恢复高频细节。
• FFL使模型能够生成关键的频谱模式（如周期性结构），而这些在基线模型中会丢失，表明其频谱保真度得到提升。
• 即使不使用截断（truncation），使用FFL的StyleGAN2仍能生成更逼真的图像，且在眼睛和牙齿等区域的伪影更少，证实了其在细节合成方面的改进。