[论文解读] ArtFusion: Controllable Arbitrary Style Transfer using Dual Conditional Latent Diffusion Models

Dar-Yen Chen|arXiv (Cornell University)|Jun 15, 2023

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

ArtFusion 提出了一种基于扩散模型的任意风格迁移模型，采用双条件潜在扩散模型（Dual-cLDM），通过在训练和推理过程中同时将内容和风格作为条件，实现可控的、高保真度的风格迁移。该方法通过分类器自由指导（classifier-free guidance）和内容修复器（content refiner）避免了相似性损失带来的偏差，显著提升了艺术细节的保留能力，在风格迁移质量与用户可调节的内容-风格平衡方面优于以往的前馈式方法。

ABSTRACT

Arbitrary Style Transfer (AST) aims to transform images by adopting the style from any selected artwork. Nonetheless, the need to accommodate diverse and subjective user preferences poses a significant challenge. While some users wish to preserve distinct content structures, others might favor a more pronounced stylization. Despite advances in feed-forward AST methods, their limited customizability hinders their practical application. We propose a new approach, ArtFusion, which provides a flexible balance between content and style. In contrast to traditional methods reliant on biased similarity losses, ArtFusion utilizes our innovative Dual Conditional Latent Diffusion Probabilistic Models (Dual-cLDM). This approach mitigates repetitive patterns and enhances subtle artistic aspects like brush strokes and genre-specific features. Despite the promising results of conditional diffusion probabilistic models (cDM) in various generative tasks, their introduction to style transfer is challenging due to the requirement for paired training data. ArtFusion successfully navigates this issue, offering more practical and controllable stylization. A key element of our approach involves using a single image for both content and style during model training, all the while maintaining effective stylization during inference. ArtFusion outperforms existing approaches on outstanding controllability and faithful presentation of artistic details, providing evidence of its superior style transfer capabilities. Furthermore, the Dual-cLDM utilized in ArtFusion carries the potential for a variety of complex multi-condition generative tasks, thus greatly broadening the impact of our research.

研究动机与目标

• 为解决前馈式任意风格迁移（AST）模型的局限性，这些模型常因相似性损失带来的偏差而产生僵硬、过度或不足风格化的结果。
• 克服条件扩散模型在风格迁移训练中对成对数据的依赖，而此类数据在现实场景中通常不可用。
• 实现灵活、用户可控的风格迁移，根据主观偏好平衡内容保留与风格化强度。
• 在不引入重复伪影的前提下，保留细微的艺术细节（如笔触和风格特异性特征）。
• 证明扩散模型可有效适配于 AST 任务，而无需成对训练数据或复杂优化。

提出的方法

• ArtFusion 采用双条件潜在扩散模型（Dual-cLDM），在去噪过程中同时基于内容和风格特征进行条件控制，使用共享潜在空间。
• 训练期间，模型通过自重建任务的似然学习进行优化，其中单张图像同时作为内容和风格参考，从而消除对成对数据的需求。
• 引入内容修复器以压缩内容特征图，将其深度维度从 16 降低至 12，以减少残留风格信息，防止对内容特征的过度依赖。
• 将分类器自由指导（CFG）扩展为二维形式（2D-CFG），在推理阶段实现对内容和风格指导尺度的独立控制，支持动态调整风格化程度。
• 风格特征通过预训练的 VGG 网络提取，内容特征通过第一阶段的 VAE 编码，两者在每个去噪步骤通过自适应归一化层注入。
• 潜在空间中的噪声插值支持多个艺术风格之间的平滑、连续过渡，促进混合风格生成。

Figure 2: The inference framework of the Dual-cLDM for style transfer. Initiated from isotropic Gaussian-distributed noise $\hat{z}_{T}$ , the dual conditional backbone progressively denoises using both content and style as conditions. Post-denoising, the $\hat{z}_{0}$ is decoded using the first-sta

实验结果

研究问题

• RQ1 能否在无需成对训练数据的情况下，有效训练用于任意风格迁移的条件扩散模型？
• RQ2 在推理阶段如何以可控方式平衡内容与风格，以反映用户偏好？
• RQ3 扩散模型能否避免基于相似性损失（如 VGG 均值/方差）带来的偏差，从而减少伪影和色彩失真？
• RQ4 扩散模型在多大程度上能保留细微的艺术细节（如笔触和风格特异性特征）？
• RQ5 双条件潜在扩散框架能否推广至风格迁移以外的其他多条件生成任务？

主要发现

• ArtFusion 在保留细微艺术细节（如笔触和风格特异性特征）方面优于现有前馈式 AST 模型，经定性和定量评估验证。
• 模型实现了卓越的风格化保真度，输出在视觉外观上与风格参考高度一致，即使参考图像复杂或抽象亦然。
• 2D-CFG 的使用实现了动态、用户可调的内容-风格权衡控制，用户可通过调节指导尺度实现从欠风格化到过风格化的连续调整。
• 消融研究显示，将内容特征维度从 16 压缩至 12 时达到最佳平衡，既避免了对内容特征的过度依赖，也防止了内容结构的损失。
• 模型避免了常见伪影（如重复和色彩失真），这些伪影在依赖 VGG 基于风格相似性损失的模型中普遍存在。
• 潜在空间插值支持艺术风格之间的平滑、连续混合，包括通过结合内容和风格参考生成的混合风格。

Figure 3: Left: Dual-cLDM Architecture. Pretrained VGG extracts style features $f_{s}$ , while content features $z_{c}$ are encoded using the first-stage VAE encoder. The content refiner processes $z_{c}$ into $z_{r}$ , refining content from inherent style. The refined $z_{r}$ is then concatenated w