[论文解读] CLIPstyler: Image Style Transfer with a Single Text Condition

Gihyun Kwon, Jong Chul Ye|arXiv (Cornell University)|Dec 1, 2021

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

CLIPstyler 提出了一种新颖的图像风格迁移方法，仅通过单个文本描述即可生成逼真的风格迁移结果，无需参考风格图像。通过利用 CLIP 的图文嵌入以及带有多种视图增强的分块对比损失，该方法实现了细粒度、语义对齐的风格迁移，在保持内容结构的同时生成与文本提示一致的鲜明且多样的纹理。

ABSTRACT

Existing neural style transfer methods require reference style images to transfer texture information of style images to content images. However, in many practical situations, users may not have reference style images but still be interested in transferring styles by just imagining them. In order to deal with such applications, we propose a new framework that enables a style transfer `without' a style image, but only with a text description of the desired style. Using the pre-trained text-image embedding model of CLIP, we demonstrate the modulation of the style of content images only with a single text condition. Specifically, we propose a patch-wise text-image matching loss with multiview augmentations for realistic texture transfer. Extensive experimental results confirmed the successful image style transfer with realistic textures that reflect semantic query texts.

研究动机与目标

• 实现无需参考风格图像的图像风格迁移，以解决现有神经风格迁移方法中的一个关键局限。
• 仅基于对期望风格的自然语言描述，将真实且多样的纹理迁移至内容图像。
• 通过训练轻量级 CNN 实现文本条件化风格迁移，避免依赖预训练生成模型或实例归一化层（如 AdaIN）。
• 通过基于 CLIP 的分块损失结合多视图增强，提升文本提示与视觉纹理之间的语义对齐。
• 通过在训练过程中对高分块应用新型阈值正则化，减少过度风格化伪影。

提出的方法

• 训练一个轻量级 CNN，根据单个文本条件转换内容图像，利用 CLIP 的图文嵌入空间作为监督信号。
• 引入分块对比损失，将生成图像中的分块与 CLIP 的文本嵌入进行对比，以促进局部纹理对齐。
• 应用多视图数据增强（如旋转或裁剪的分块），以提升迁移纹理的多样性和真实感。
• 对相似度分数异常高的分块应用阈值正则化，以抑制对特定分块模式的过拟合。
• 支持基于优化和快速推理的两种推理模式，实现高分辨率风格迁移。
• 按每个文本条件独立训练模型，实现对多样化文本提示的灵活风格迁移。

Figure 2 : Overall schematics of our proposed patch-wise CLIP loss. We optimize the neural network $f$ using the loss functions.

实验结果

研究问题

• RQ1 是否可以仅通过单个文本描述而非任何参考风格图像，有效实现图像风格迁移？
• RQ2 是否可以利用 CLIP 的预训练图文嵌入生成语义有意义且逼真的风格迁移结果？
• RQ3 基于多视图增强的分块对比损失是否能提升风格迁移中局部纹理的真实感与多样性？
• RQ4 阈值正则化是否能缓解因高相似度分块导致的过度风格化伪影？
• RQ5 与现有基于 CLIP 或 AdaIN 的风格迁移方法相比，该方法在内容保留和风格准确性方面表现如何？

主要发现

• 所提出的方法成功仅基于文本描述将真实且多样的纹理迁移至内容图像，如‘水彩’、‘野兽派’和‘水墨画’等风格的定性结果所示。
• 结合多视图增强的分块 CLIP 损失显著提升了纹理的真实感与多样性，在视觉质量与语义对齐方面优于基线方法。
• 阈值正则化有效减少了由高分块引起的过度风格化伪影，提升了整体视觉一致性。
• 高分辨率输出（最高达 1920×2580）展示了该方法生成细节丰富、风格化图像的能力，适用于实际应用。
• 用户研究结果与定性对比表明，CLIPstyler 在内容保留与风格合成质量方面优于现有方法，如 AdaIN+CLIP、StyleCLIP 和 VQGAN+CLIP。
• 失败案例揭示了与分块采样不佳及对文本字面可视化过度依赖相关的局限，提示未来应在采样策略与提示工程方面进行改进。

Figure 3 : Style transfer results on various query text conditions. Our method can synthesize realistic textures which reflect the text conditions. Additional results are in our Supplementary Materials.