[论文解读] DiffStyler: Controllable Dual Diffusion for Text-Driven Image Stylization

Nisha Huang, Yuxin Zhang+6 more|arXiv (Cornell University)|Nov 19, 2022

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

DiffStyler 提出了一种可控的双扩散框架用于文本驱动的图像风格化，用可学习的噪声替代随机噪声，以在保留内容结构的同时，通过双扩散路径平衡风格抽象与真实感。该方法在风格化质量与内容保留方面达到当前最先进水平，在定性和定量评估中均优于基于 GAN 和基线扩散的方法。

ABSTRACT

Despite the impressive results of arbitrary image-guided style transfer methods, text-driven image stylization has recently been proposed for transferring a natural image into a stylized one according to textual descriptions of the target style provided by the user. Unlike the previous image-to-image transfer approaches, text-guided stylization progress provides users with a more precise and intuitive way to express the desired style. However, the huge discrepancy between cross-modal inputs/outputs makes it challenging to conduct text-driven image stylization in a typical feed-forward CNN pipeline. In this paper, we present DiffStyler, a dual diffusion processing architecture to control the balance between the content and style of the diffused results. The cross-modal style information can be easily integrated as guidance during the diffusion process step-by-step. Furthermore, we propose a content image-based learnable noise on which the reverse denoising process is based, enabling the stylization results to better preserve the structure information of the content image. We validate the proposed DiffStyler beyond the baseline methods through extensive qualitative and quantitative experiments. Code is available at \url{https://github.com/haha-lisa/Diffstyler}.

研究动机与目标

• 解决基于 GAN 和图像引导的风格化方法依赖风格图像所带来的局限性，这些方法限制了艺术表达并易产生块状重复伪影。
• 克服扩散模型风格化中因随机噪声导致内容在前向扩散过程中退化而难以保留全局内容结构的挑战。
• 通过自然语言描述实现精确、直观且灵活的风格化，使用户无需参考风格图像即可表达多样化的艺术风格。
• 通过双扩散架构实现在生成图像中内容保真度与艺术抽象之间的平衡权衡。

提出的方法

• 在前向扩散过程中，用基于内容图像的可学习噪声向量替代随机噪声，以在去噪过程中保留结构细节。
• 实施双扩散架构，其中一条路径专注于利用可学习噪声保留内容，另一条路径则通过文本嵌入引导实现风格抽象。
• 通过交叉注意力机制在每个去噪步骤中引入文本引导，实现逐步的风格控制。
• 优化数值求解器以加快采样速度，同时保持生成质量，从而在不损失风格化保真度的前提下减少推理时间。
• 端到端训练模型，使用重建损失和感知损失确保内容与风格的一致性。
• 采用潜在空间扩散以提升计算效率，尽管完整实现仍为未来研究方向。

实验结果

研究问题

• RQ1 当在前向过程中使用随机噪声时，扩散模型能否有效在风格化过程中保留内容图像的全局内容结构？
• RQ2 如何设计双扩散路径，以在文本驱动风格化中同时确保内容保真度与艺术抽象？
• RQ3 仅依靠文本描述在多大程度上能够引导高质量、多样化且无伪影的风格化，而无需参考风格图像？
• RQ4 在不同风格化任务中，可学习噪声相较于随机噪声在保持结构完整性方面表现如何？

主要发现

• DiffStyler 在定量指标（如 FID、LPIPS）和定性结果上均达到最先进水平，优于当前最先进基于 GAN 和扩散的基线方法。
• 该模型成功保留了细微的内容细节，如面部特征、建筑轮廓和复杂纹理，即使在高度抽象或艺术化的风格下亦然。
• 失败案例表明，模型可能遗漏或扭曲文本提示中未明确提及的元素，表明存在过度聚焦于文本线索的风险。
• 消融实验表明，使用可学习噪声显著提升了内容保留效果，表现为 LPIPS 降低和 FID 分数提高。
• 双扩散机制使风格化更加自然且精细，尤其在具有复杂结构的复杂场景（如城堡窗户或河流景观）中表现更优。
• 尽管结果优异，该方法仍比基于 GAN 的方法更慢，提示潜在扩散或模型蒸馏可能是未来有前景的优化方向。