[论文解读] Frequency Domain Image Translation: More Photo-realistic, Better Identity-preserving

Mu Cai, Hong Zhang+4 more|arXiv (Cornell University)|Nov 27, 2020

Generative Adversarial Networks and Image Synthesis被引用 12

一句话总结

本文提出频率域图像转换（FDIT），一种基于生成对抗网络的新框架，通过将图像分解为低频和高频分量，以保留身份信息并提升照片级真实感。通过在像素空间和傅里叶频谱空间中强制保持一致性，FDIT相较于先前最先进方法将FID降低了5.6%，显著提升了身份保留能力与视觉质量。

ABSTRACT

Image-to-image translation has been revolutionized with GAN-based methods. However, existing methods lack the ability to preserve the identity of the source domain. As a result, synthesized images can often over-adapt to the reference domain, losing important structural characteristics and suffering from suboptimal visual quality. To solve these challenges, we propose a novel frequency domain image translation (FDIT) framework, exploiting frequency information for enhancing the image generation process. Our key idea is to decompose the image into low-frequency and high-frequency components, where the high-frequency feature captures object structure akin to the identity. Our training objective facilitates the preservation of frequency information in both pixel space and Fourier spectral space. We broadly evaluate FDIT across five large-scale datasets and multiple tasks including image translation and GAN inversion. Extensive experiments and ablations show that FDIT effectively preserves the identity of the source image, and produces photo-realistic images. FDIT establishes state-of-the-art performance, reducing the average FID score by 5.6% compared to the previous best method.

研究动机与目标

• 为解决基于GAN的图像到图像转换中生成图像过度适应参考域而导致的身份保留不足问题。
• 通过保留现有方法中丢失的细粒度结构细节，提升照片级真实感。
• 开发一种显式在像素空间与频谱空间中强制保持频率一致性的训练框架。
• 在多种数据集与任务中（包括图像转换与GAN反演）验证方法的有效性。
• 确立频率域分析作为图像生成任务中一种可行且强大的范式。

提出的方法

• FDIT使用高斯低通滤波器将输入图像分解为低频分量（颜色/光照）与高频分量（边缘/细节）。
• 通过像素空间损失，强制源图像与生成图像的高频分量保持相似。
• 通过在图像上计算快速傅里叶变换（FFT），应用傅里叶频谱损失，确保高频谱的一致性。
• 将频率监督整合到条件GAN或自编码器架构中，支持端到端训练。
• 在图像重建与图像转换阶段均应用基于频率的正则化。
• 通过结合对抗性损失、循环一致性损失与基于频率的损失进行训练，以稳定训练过程并提升生成质量。

实验结果

研究问题

• RQ1 频率域正则化是否能在不牺牲照片级真实感的前提下提升图像到图像转换中的身份保留能力？
• RQ2 在像素空间与频谱空间中同时强制保持高频一致性，对视觉质量与结构保真度有何影响？
• RQ3 在FID指标以及用户对身份与真实感的偏好方面，FDIT相较于现有基于GAN的方法优势有多大？
• RQ4 FDIT能否在多种数据集与任务（包括GAN反演与跨域转换）中实现良好泛化？
• RQ5 在提升转换质量方面，像素空间与频谱空间的频率监督各自贡献如何？

主要发现

• 与先前最先进方法相比，FDIT将平均FID分数降低了5.6%，证明了其在图像质量上的优越性。
• 用户研究表明，75.40%的用户更偏好FDIT在身份保留方面表现，64.39%更偏好其在图像质量方面表现。
• 像素空间中的高频分量对保留物体结构与身份至关重要，该结论经消融实验验证。
• 通过FFT损失实现的频谱一致性显著提升了细粒度细节保留效果，并减少了高频失真。
• FDIT在五个大规模数据集（包括两个新收集的数据集）上均表现出良好泛化能力，涵盖多种任务。
• 消融实验证实，像素空间与频谱空间的频率监督均对实现最优性能不可或缺。