[论文解读] Control Color: Multimodal Diffusion-based Interactive Image Colorization

Zhexin Liang, Zhaochen Li+3 more|arXiv (Cornell University)|Feb 16, 2024

Image Retrieval and Classification Techniques被引用 4

一句话总结

该论文提出 CtrlColor，一种基于多模态扩散模型的图像着色框架，通过在 Stable Diffusion 中引入用户引导控制，实现高度可控、交互式的图像着色。通过在统一的潜在扩散框架中整合文本提示、用户绘制的笔触和样本图像，该方法在色彩丰富度、保真度和用户控制方面达到当前最优性能，通过内容感知的可变形卷积和简化的自注意力引导，显著减少了色彩溢出和误着色问题。

ABSTRACT

Despite the existence of numerous colorization methods, several limitations still exist, such as lack of user interaction, inflexibility in local colorization, unnatural color rendering, insufficient color variation, and color overflow. To solve these issues, we introduce Control Color (CtrlColor), a multi-modal colorization method that leverages the pre-trained Stable Diffusion (SD) model, offering promising capabilities in highly controllable interactive image colorization. While several diffusion-based methods have been proposed, supporting colorization in multiple modalities remains non-trivial. In this study, we aim to tackle both unconditional and conditional image colorization (text prompts, strokes, exemplars) and address color overflow and incorrect color within a unified framework. Specifically, we present an effective way to encode user strokes to enable precise local color manipulation and employ a practical way to constrain the color distribution similar to exemplars. Apart from accepting text prompts as conditions, these designs add versatility to our approach. We also introduce a novel module based on self-attention and a content-guided deformable autoencoder to address the long-standing issues of color overflow and inaccurate coloring. Extensive comparisons show that our model outperforms state-of-the-art image colorization methods both qualitatively and quantitatively.

研究动机与目标

• 解决图像着色中的关键局限，包括缺乏用户交互、局部编辑不灵活、色彩溢出和不自然的着色效果。
• 在单一扩散框架中统一无条件、基于文本、基于笔触和基于样本的着色方法，以提升灵活性与一致性。
• 通过内容感知的引导机制，在不微调主干模型的前提下，减少扩散模型着色中的色彩溢出和误着色。
• 通过基于笔触的控制和多模态条件，实现精确、迭代且直观的局部着色编辑。
• 通过全面的评估和用户研究，实现优于现有方法的视觉质量和用户满意度。

提出的方法

• 在预训练的 Stable Diffusion 模型中，将文本提示、用户绘制的笔触和样本图像作为多模态条件，用于条件图像生成。
• 通过提示点图和派生的二值掩码对用户笔触进行编码，以在潜在空间中引导去噪过程，实现精确的局部着色控制。
• 在解码器中引入内容感知的可变形自编码器，使生成的色彩与输入纹理对齐，从而减少色彩溢出并提高保真度。
• 在推理过程中应用简化的自注意力引导，对分布外的注意力区域进行模糊和重生成，最小化小尺度的色彩渗色。
• 采用统一框架支持所有条件组合（文本、笔触、样本图像），实现灵活且可迭代的编辑。
• 利用预训练 SD 模型中的丰富先验知识，无需微调即可生成多样化、逼真且色彩丰富的输出。

Figure 2 : Visual comparisons on stroke-based colorization.

实验结果

研究问题

• RQ1 统一的扩散模型框架能否有效支持多种模态（文本、笔触、样本图像）用于交互式图像着色？
• RQ2 在不微调主干模型的前提下，如何减少扩散模型着色中的色彩溢出和误着色？
• RQ3 在潜在扩散设置中，用户绘制的笔触在多大程度上能实现精确的局部着色控制？
• RQ4 样本图像的引入在多大程度上影响生成结果的颜色分布一致性与真实感？
• RQ5 所提方法在定量指标和人类评估中是否均优于现有最先进方法？

主要发现

• CtrlColor 在 FID（使用 50–100 根笔触时为 6.8830）、PSNR（28.2699）、SSIM（0.9926）和 LPIPS（0.0872）方面达到最先进性能，表明其具有卓越的保真度和重建精度。
• 视觉对比和消融研究均表明，该方法显著减少了色彩溢出和误着色，尤其在使用可变形自编码器和自注意力引导时效果更明显。
• 用户研究结果显示，CtrlColor 在四项评估维度（感知真实感、色彩丰富度、审美感和忠实重建）上均优于 DDColor、ToVivid、BigColor 和 UniColor。
• 随着笔触数量增加，FID 分数降低（从 8.8614 降至 6.8830），表明与真实标签的对齐性提高，尽管由于模型先验使用减少，色彩丰富度略有下降。
• 基于提示的着色在 CLIP 和色彩丰富度得分上优于 UniColor，表明其与文本描述的对齐性更强，且结果更鲜艳。
• 基于样本的着色成功保留了参考图像的颜色分布，同时在物体间保持了良好的视觉真实感与一致性。

Figure 3 : Left : The main structure of our CtrlColor Model achieves multi-modal controllable colorization by blending controls from diverse components. Right : To manage large color overflow and inaccurate color regions, we integrate content-guided deformable convolution layers into the autoencoder