[论文解读] CycleNet: Rethinking Cycle Consistency in Text-Guided Diffusion for Image Manipulation

Sihan Xu, Ziqiao Ma+3 more|arXiv (Cornell University)|Oct 19, 2023

Image Processing Techniques and Applications被引用 7

一句话总结

CycleNet 提出了一种简单但高效的方法，通过在文本引导的扩散模型中强制执行循环一致性，实现无配对图像到图像的翻译，采用具有 ControlNet 的潜在扩散主干网络，并对正向和反向翻译循环施加一致性正则化。该方法在翻译保真度、一致性和质量方面达到最先进性能，即使在极小数据量（约2000个样本）和单张GPU下也能实现，同时通过修改提示词即可实现对分布外数据的零样本泛化。

ABSTRACT

Diffusion models (DMs) have enabled breakthroughs in image synthesis tasks but lack an intuitive interface for consistent image-to-image (I2I) translation. Various methods have been explored to address this issue, including mask-based methods, attention-based methods, and image-conditioning. However, it remains a critical challenge to enable unpaired I2I translation with pre-trained DMs while maintaining satisfying consistency. This paper introduces Cyclenet, a novel but simple method that incorporates cycle consistency into DMs to regularize image manipulation. We validate Cyclenet on unpaired I2I tasks of different granularities. Besides the scene and object level translation, we additionally contribute a multi-domain I2I translation dataset to study the physical state changes of objects. Our empirical studies show that Cyclenet is superior in translation consistency and quality, and can generate high-quality images for out-of-domain distributions with a simple change of the textual prompt. Cyclenet is a practical framework, which is robust even with very limited training data (around 2k) and requires minimal computational resources (1 GPU) to train. Project homepage: https://cyclenetweb.github.io/

研究动机与目标

• 解决使用预训练扩散模型在无配对设置下图像到图像翻译的一致性挑战。
• 在无需成对数据或复杂注意力/掩码监督的情况下，提升翻译保真度和结构一致性。
• 通过简单的提示工程，实现对分布外分布的鲁棒零样本泛化。
• 开发一种计算高效的框架，仅使用有限数据（约2000个样本）和最低限度硬件（1张GPU）即可实现高效训练。
• 引入 ManiCups，一个用于研究物体操作中物理状态变化的新多领域数据集。

提出的方法

• CycleNet 采用基于 ControlNet 的架构，利用预训练的 Stable Diffusion 主干网络，实现基于输入图像和文本提示的图像到图像翻译。
• 通过在正向翻译至目标域并反向翻译回源域后重建原始图像，强制执行循环一致性。
• 通过最小化原始输入与循环重建图像之间的重建损失，对翻译过程进行正则化，确保结构和语义的一致性。
• 训练目标结合了扩散过程的去噪损失与循环一致性损失，实现稳定且高质量的生成。
• 通过简单更改文本提示即可支持零样本推理，无需微调即可泛化至未见领域。
• 采用轻量级适配器机制，仅需极少额外参数和计算开销。

Figure 1 : A high-resolution example of CycleNet for diffusion-based image-to-image translation compared to other diffusion-based methods. CycleNet produces high-quality translations with satisfactory consistency. The areas in the boxes are enlarged for detailed comparisons.

实验结果

研究问题

• RQ1 循环一致性能否有效应用于文本引导的扩散模型，以提升无配对图像到图像翻译中的一致性和质量？
• RQ2 与现有基于掩码和无掩码的扩散方法相比，CycleNet 在翻译保真度和结构一致性方面表现如何？
• RQ3 仅通过提示修改，CycleNet 在多大程度上可泛化至分布外分布？
• RQ4 实现高质量结果所需的最低数据量和计算成本是多少？
• RQ5 CycleNet 在建模物体物理状态变化（如容器中液体填充）方面的有效性如何？

主要发现

• 在空瓶到果汁的翻译任务中，CycleNet 的 FID（79.02）和 FID-clip（23.42）得分最低，优于所有基线方法，包括 CycleDiffusion 和 Text2LIVE。
• 在低资源的空瓶到牛奶和空瓶到水任务中，CycleNet 的 FID 分别达到 97.07 和 95.97，显著低于竞争方法。
• 在空瓶到果汁任务中，CycleNet 的 CLIP 得分为 27.75，表明其与目标域具有更优的语义对齐。
• 仅使用 2000 个训练样本和 1 张 GPU，CycleNet 仍保持强劲性能，展现出极高的数据和计算效率。
• CycleNet 展现出强大的零样本泛化能力，仅通过更改文本提示即可生成分布外分布的高质量图像。
• 定性结果表明，CycleNet 能够保留细微细节和结构一致性，尤其在复杂物体状态变化中表现优异，已在 ManiCups 数据集上得到验证。

(a) The translation cycle in diffusion-based I2I translation.