[论文解读] Image Harmonization with Diffusion Model

Jiajie Li, Jian Wang+2 more|arXiv (Cornell University)|Jun 17, 2023

Advanced Image Processing TechniquesComputer Science被引用 3

一句话总结

本文提出了一种基于条件扩散模型的新型图像合成方法，结合分类器引导与无分类器去噪扩散框架，以提升前景与背景图像之间的光照与色彩一致性。通过在潜在空间中使用ControlNet进行微调，并集成色彩迁移机制，该方法在生成逼真、协调的图像合成结果方面实现了最先进性能，显著提升了外观一致性与多输出灵活性。

ABSTRACT

Image composition in image editing involves merging a foreground image with a background image to create a composite. Inconsistent lighting conditions between the foreground and background often result in unrealistic composites. Image harmonization addresses this challenge by adjusting illumination and color to achieve visually appealing and consistent outputs. In this paper, we present a novel approach for image harmonization by leveraging diffusion models. We conduct a comparative analysis of two conditional diffusion models, namely Classifier-Guidance and Classifier-Free. Our focus is on addressing the challenge of adjusting illumination and color in foreground images to create visually appealing outputs that seamlessly blend with the background. Through this research, we establish a solid groundwork for future investigations in the realm of diffusion model-based image harmonization.

研究动机与目标

• 解决图像合成中前景与背景图像光照与色彩不一致的问题，使两者在视觉上对齐。
• 探索去噪扩散模型（特别是DDPM与LDM）在图像合成中的应用，克服传统方法与深度学习方法的局限性。
• 通过整合分类器引导与色彩迁移技术，提升生成图像的外观一致性。
• 利用扩散模型的固有随机性，实现多输出生成，为用户提供多样化、高质量的合成选项。
• 在合成数据集与真实世界合成数据集上验证方法性能，证明其在理想化训练条件之外仍具备鲁棒性与泛化能力。

提出的方法

• 该方法采用条件扩散模型框架，结合分类器引导与无分类器去噪扩散过程，从非协调输入生成协调图像。
• 利用预训练的Stable Diffusion模型，基于潜在扩散模型（LDM）进行训练，并通过ControlNet微调，以在图像编辑过程中保持空间与语义结构。
• 引入色彩迁移机制，选择性地将生成图像的色彩统计信息迁移至目标图像，以维持外观一致性，同时保留前景细节。
• 通过亮度预测集成背景光照线索，提升光照真实感与一致性。
• 模型在潜在空间中端到端训练，降低计算成本，同时保持高保真度输出生成能力。
• 利用扩散过程的固有随机性，实现多输出生成，使同一输入可生成多样化结果。

实验结果

研究问题

• RQ1 与传统方法及深度学习方法相比，条件扩散模型能否有效提升图像合成中色彩与光照的协调性？
• RQ2 在图像合成中，分类器引导与无分类器扩散模型在外观一致性与真实感方面表现如何比较？
• RQ3 色彩迁移与光照集成技术在多大程度上能提升合成输出的视觉质量与一致性？
• RQ4 扩散模型的随机性是否能在图像合成中提供实际优势，例如生成多种多样化的输出选项？
• RQ5 当在理想化输入条件下的合成数据集上进行训练时，该方法在真实世界合成图像上的泛化能力如何？

主要发现

• 所提出的基于扩散模型的方法在iHarmony4与HCOCO数据集上达到最先进性能，无论在定量指标还是视觉质量方面均显著优于现有方法。
• 采用ControlNet微调的无分类器LDM可生成高保真度的协调图像，显著提升结构与语义一致性。
• 色彩迁移的集成显著增强了细节保留能力，如结果中文字与物体特征更清晰（例如手套上的可读字符）。
• 通过扩散模型随机性实现的多输出生成，为用户提供了多种视觉上合理的合成选项，显著提升在创意应用中的灵活性。
• 该方法在真实世界合成图像上泛化能力良好，与CDTNet在Open Images与Flickr数据集合成图像上的对比显示，其在亮度匹配与物体融合方面优于SOTA方法。
• 尽管在传统指标上得分较低，但扩散模型生成的结果更具真实感与感知一致性，验证了其在感知质量方面的优越性。