[论文解读] UVCGAN: UNet Vision Transformer cycle-consistent GAN for unpaired image-to-image translation

D. Torbunov, Yi Huang+6 more|arXiv (Cornell University)|Mar 4, 2022

Generative Adversarial Networks and Image Synthesis被引用 11

一句话总结

UVCGAN 提出了一种新颖的无配对图像到图像翻译模型，通过在生成器架构中整合视觉变换器（ViT），并结合梯度惩罚和自监督预训练，提升了CycleGAN的性能。该方法在基准数据集上实现了最先进（SOTA）的性能，同时严格保持了循环一致性，在图像质量和内容保真度方面优于更复杂的模型。

ABSTRACT

Unpaired image-to-image translation has broad applications in art, design, and scientific simulations. One early breakthrough was CycleGAN that emphasizes one-to-one mappings between two unpaired image domains via generative-adversarial networks (GAN) coupled with the cycle-consistency constraint, while more recent works promote one-to-many mapping to boost diversity of the translated images. Motivated by scientific simulation and one-to-one needs, this work revisits the classic CycleGAN framework and boosts its performance to outperform more contemporary models without relaxing the cycle-consistency constraint. To achieve this, we equip the generator with a Vision Transformer (ViT) and employ necessary training and regularization techniques. Compared to previous best-performing models, our model performs better and retains a strong correlation between the original and translated image. An accompanying ablation study shows that both the gradient penalty and self-supervised pre-training are crucial to the improvement. To promote reproducibility and open science, the source code, hyperparameter configurations, and pre-trained model are available at https://github.com/LS4GAN/uvcgan.

研究动机与目标

• 通过无配对图像到图像翻译弥合科学模拟中模拟数据与真实实验数据之间的差异。
• 改进经典CycleGAN框架以提升性能，同时不放宽对循环一致性的要求，这对科学有效性至关重要。
• 通过用视觉变换器替代U-Net主干网络，提升图像翻译中长距离空间依赖性的建模能力。
• 通过梯度惩罚和自监督预训练等先进技术，确保训练稳定性和泛化能力。
• 通过开源代码、超参数和预训练模型，提升可复现性。

提出的方法

• 用视觉变换器（ViT）编码器-解码器架构替换CycleGAN中U-Net生成器，以更有效地建模长距离依赖关系。
• 集成循环一致性损失，以强制源图像与翻译图像之间的一对一映射，保留语义内容。
• 在对抗训练中应用梯度惩罚（GP），以稳定GAN优化并防止模式崩溃。
• 在ImageNet或类似数据集上进行自监督预训练，以初始化ViT编码器，提升特征学习能力和收敛速度。
• 使用两个对抗性生成器（A→B 和 B→A）端到端训练模型，结合循环一致性损失和感知损失。
• 在ViT中采用多头自注意力机制，使模型能够聚焦于语义相关的图像区域，如眼睛和嘴巴。

实验结果

研究问题

• RQ1 基于视觉变换器的生成器是否能在保持严格循环一致性的前提下，提升无配对图像到图像翻译的图像质量？
• RQ2 与标准CycleGAN相比，梯度惩罚和自监督预训练在UVCGAN中对性能提升的贡献如何？
• RQ3 将ViT集成到CycleGAN框架中是否能更好地保留翻译图像中的内容和身份信息？
• RQ4 UVCGAN是否能在不放宽循环一致性约束的前提下，超越更复杂、更现代的模型？
• RQ5 ViT中的注意力图在多大程度上突出了输入图像中有意义且与人类视觉对齐的区域，从而体现可解释性和相关性？

主要发现

• UVCGAN在多个基准数据集（包括Horse→Zebra、Apple→Orange等）上优于以往最先进模型，FID和LPIPS得分更高。
• 在Horse→Zebra数据集上，UVCGAN实现了11.0的FID和0.85±0.09的LPIPS，优于SPA-GAN和AdaIN-SPADE等模型。
• 消融研究证实，梯度惩罚和自监督预训练均至关重要；移除任一组件均导致性能显著下降。
• 注意力可视化显示，模型聚焦于关键面部区域（如眼睛和嘴巴），与人类视觉注意模式一致，表明其具备有意义的特征学习能力。
• UVCGAN在基于ImageNet的翻译任务中表现优异，FID为1.77±0.21，LPIPS为1.77±0.21，展现出强大的泛化能力。
• 尽管训练成本高于原始CycleGAN，UVCGAN的环境影响仍显著低于更复杂的扩散模型或归一化流模型。