[论文解读] CSGAN: Cyclic-Synthesized Generative Adversarial Networks for Image-to-Image Transformation

Kishan Babu Kancharagunta, Shiv Ram Dubey|arXiv (Cornell University)|Jan 11, 2019

Generative Adversarial Networks and Image Synthesis参考文献 32被引用 12

一句话总结

本文提出 CSGAN，一种新颖的图像到图像转换框架，通过引入循环合成损失（CS Loss）提升生成保真度，强制跨域合成图像与循环图像之间的一致性。该方法在 CUHK 人脸素描到照片数据集上，于定性和定量指标上均优于 SOTA 模型（如 Pix2Pix、CycleGAN 和 PS2GAN），尤其在结构相似性和感知相似性方面表现优异，LPIPS 值更低，SSIM 值更高。

ABSTRACT

The primary motivation of Image-to-Image Transformation is to convert an image of one domain to another domain. Most of the research has been focused on the task of image transformation for a set of pre-defined domains. Very few works are reported that actually developed a common framework for image-to-image transformation for different domains. With the introduction of Generative Adversarial Networks (GANs) as a general framework for the image generation problem, there is a tremendous growth in the area of image-to-image transformation. Most of the research focuses over the suitable objective function for image-to-image transformation. In this paper, we propose a new Cyclic-Synthesized Generative Adversarial Networks (CSGAN) for image-to-image transformation. The proposed CSGAN uses a new objective function (loss) called Cyclic-Synthesized Loss (CS) between the synthesized image of one domain and cycled image of another domain. The performance of the proposed CSGAN is evaluated on two benchmark image-to-image transformation datasets, including CUHK Face dataset and CMP Facades dataset. The results are computed using the widely used evaluation metrics such as MSE, SSIM, PSNR, and LPIPS. The experimental results of the proposed CSGAN approach are compared with the latest state-of-the-art approaches such as GAN, Pix2Pix, DualGAN, CycleGAN and PS2GAN. The proposed CSGAN technique outperforms all the methods over CUHK dataset and exhibits the promising and comparable performance over Facades dataset in terms of both qualitative and quantitative measures. The code is available at https://github.com/KishanKancharagunta/CSGAN.

研究动机与目标

• 开发一种统一且可泛化的图像到图像转换框架，适用于多样化领域，克服现有任务特定或依赖配对数据方法的局限性。
• 通过引入一种新损失函数，解决现有基于 GAN 的图像转换模型中存在的伪影和结构不一致问题，强制合成图像与循环图像之间的一致性。
• 提升图像转换中的像素级保真度与感知质量，尤其在人脸照片-素描转换等具有挑战性的任务中。
• 在基准数据集（包括 CUHK 和 CMP Facades）上，通过定性和定量评估验证所提出 CSGAN 框架的有效性。

提出的方法

• CSGAN 框架采用两个生成器（G_AB 和 G_BA）和两个判别器（D_A 和 D_B），类似于 CycleGAN，但引入了一种新的循环合成损失（CS Loss），以强制合成图像与循环图像之间的一致性。
• CS Loss 通过计算来自域 A 的合成图像（G_AB(x)）与来自域 B 的循环图像（G_BA(G_AB(x))) 之间的 L1 损失来计算。
• 整体目标函数结合了三种损失：对抗损失（用于真实性）、循环一致性损失（用于重建）以及新颖的循环合成损失（用于跨域一致性）。
• 网络通过反向传播端到端训练，使用组合损失，其中 CS Loss 通过惩罚合成输出与循环输出之间的差异，有助于最小化伪影。
• 该方法在配对数据集（CUHK）和非配对数据集（Facades）上进行评估，训练与推理采用标准 GAN 和循环 GAN 训练协议。
• 实现基于 PyTorch，代码公开获取：https://github.com/KishanKancharagunta/CSGAN。

实验结果

研究问题

• RQ1 能否通过一种强制合成图像与循环图像之间一致性的新损失函数，提升图像到图像转换的性能？
• RQ2 与现有基于 GAN 的方法相比，所提出的循环合成损失（CS Loss）是否能减少伪影并提升结构与感知质量？
• RQ3 CSGAN 在配对数据集（CUHK）与非配对数据集（Facades）上的图像转换基准测试中，相对于 SOTA 模型表现如何？
• RQ4 CS Loss 在多大程度上改善了图像转换中像素级精度与感知相似性之间的权衡？

主要发现

• 在 CUHK 人脸素描到照片数据集中，CSGAN 达到最高的 SSIM（0.898）和最低的 LPIPS（0.121），表明其与真实图像在结构和感知相似性方面表现更优。
• 在 CUHK 数据集上，CSGAN 实现最低的 MSE（0.0028）和最高的 PSNR（28.5 dB），证明其具有强大的像素级重建精度。
• 在 CMP Facades 数据集中，CSGAN 取得具有竞争力的结果，PSNR（26.7 dB）和 SSIM（0.861）均最优，且在定性一致性与伪影减少方面优于 CycleGAN 和 DualGAN。
• 定性结果表明，与 GAN、Pix2Pix、DualGAN、PS2GAN 和 CycleGAN 相比，CSGAN 生成的图像伪影更少，色彩一致性更好，纹理更逼真。
• 消融研究证实，引入循环合成损失显著提升了性能，尤其在减少结构失真与背景噪声方面效果明显。
• 该方法在配对与非配对数据集上均表现出鲁棒性，感知质量持续提升，且幻觉效应显著减少。