[论文解读] FlexIT: Towards Flexible Semantic Image Translation

Guillaume Couairon, Asya Grechka+3 more|arXiv (Cornell University)|Mar 9, 2022

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

FlexIT 提出了一种基于文本驱动的灵活语义图像转换方法，利用 CLIP 的多模态嵌入空间和自编码器潜在空间，在无需微调的情况下实现高质量、自由形式的图像编辑。该方法在 ImageNet 上实现了最先进性能，通过新颖的正则化技术优化图像重建与语义对齐，即使在分布外图像（如将 'a sow’s ear' 转换为 'a silk purse'）上也能实现自然的编辑效果。

ABSTRACT

Deep generative models, like GANs, have considerably improved the state of the art in image synthesis, and are able to generate near photo-realistic images in structured domains such as human faces. Based on this success, recent work on image editing proceeds by projecting images to the GAN latent space and manipulating the latent vector. However, these approaches are limited in that only images from a narrow domain can be transformed, and with only a limited number of editing operations. We propose FlexIT, a novel method which can take any input image and a user-defined text instruction for editing. Our method achieves flexible and natural editing, pushing the limits of semantic image translation. First, FlexIT combines the input image and text into a single target point in the CLIP multimodal embedding space. Via the latent space of an auto-encoder, we iteratively transform the input image toward the target point, ensuring coherence and quality with a variety of novel regularization terms. We propose an evaluation protocol for semantic image translation, and thoroughly evaluate our method on ImageNet. Code will be made publicly available.

研究动机与目标

• 解决现有基于 GAN 的图像编辑方法在狭窄领域和预定义编辑操作上的局限性。
• 在任意输入图像上实现自由文本、用户自定义的图像变换（例如 'cat → dog'），无论其所属领域如何。
• 开发一种无需训练、即插即用的框架，仅使用预训练组件以实现广泛适用性。
• 提出一种基于图像质量、语义准确性以及无关内容保留的鲁棒评估协议，用于语义图像转换。

提出的方法

• 将输入图像与文本指令合并为 CLIP 多模态嵌入空间中的一个目标点，以定义期望的编辑效果。
• 在 VQ-GAN 自编码器的潜在空间中优化图像，以最小化与目标 CLIP 嵌入的距离，同时保持图像质量。
• 应用新颖的正则化项：像素级（LPIPS）、潜在空间级（z-regularization）和图像级（图像修复风格）约束，以确保真实感与一致性。
• 使用带有学习步长的迭代优化，逐步将图像向目标嵌入逼近，避免模式崩溃或伪影。
• 利用 CLIP 的零样本能力对文本查询进行定位，无需微调或成对数据。
• 采用多目标损失函数，结合 CLIP 相似度、LPIPS 和重建损失，以平衡语义准确性和视觉保真度。

实验结果

研究问题

• RQ1 一种基于文本的图像编辑方法是否能在无需领域特定训练的情况下，泛化到多样化的、分布外的图像上？
• RQ2 与 GAN 潜在空间相比，使用 VQ-GAN 潜在空间在自由文本提示下的图像编辑中效果如何？
• RQ3 正则化项在基于文本的图像转换中，能在多大程度上提升图像质量和语义一致性？
• RQ4 基于 ImageNet 的统一评估协议是否能可靠地衡量语义图像转换在多个标准下的性能？

主要发现

• 在优化语义对齐与图像质量时，FlexIT 的 CSFID 分数显著低于基线方法（如 IC-GAN、StyleGAN2）。
• 与直接使用像素空间相比，该方法将 CSFID 降低了高达 30%，证明了 VQ-GAN 潜在空间优化的有效性。
• 超参数消融实验表明，最优正则化能平衡编辑准确率与图像真实感，且 CSFID 分数呈现清晰的最小值。
• 模型能有效保留无关视觉元素，这通过零样本语义迁移的高准确率以及与输入图像的低 LPIPS 值得到验证。
• 在 ImageNet 上的评估显示，FlexIT 在定性和定量指标上均优于现有方法，包括语义正确性和视觉自然度。
• 该方法成功将多样化的图像（包括动物、车辆等非人脸物体）高保真地转换为目标类别。