[论文解读] Joint Intensity-Gradient Guided Generative Modeling for Colorization

Kai Hong, Jin Li+5 more|arXiv (Cornell University)|Dec 28, 2020

Generative Adversarial Networks and Image Synthesis参考文献 59被引用 5

一句话总结

本文提出了一种联合强度-梯度引导的生成模型用于图像着色，通过同时利用强度和梯度信息来提升着色质量。通过在高维强度-梯度张量上训练噪声条件得分网络，并施加联合数据保真度约束，该方法减少了边缘着色溢出现象，在定量指标和用户研究中均达到了最先进性能。

ABSTRACT

This paper proposes an iterative generative model for solving the automatic colorization problem. Although previous researches have shown the capability to generate plausible color, the edge color overflow and the requirement of the reference images still exist. The starting point of the unsupervised learning in this study is the observation that the gradient map possesses latent information of the image. Therefore, the inference process of the generative modeling is conducted in joint intensity-gradient domain. Specifically, a set of intensity-gradient formed high-dimensional tensors, as the network input, are used to train a powerful noise conditional score network at the training phase. Furthermore, the joint intensity-gradient constraint in data-fidelity term is proposed to limit the degree of freedom within generative model at the iterative colorization stage, and it is conducive to edge-preserving. Extensive experiments demonstrated that the system outperformed state-of-the-art methods whether in quantitative comparisons or user study.

研究动机与目标

• 为解决自动图像着色中的长期问题，特别是边缘着色溢出和对参考图像的依赖。
• 探索梯度图中的潜在信息，以无监督方式指导生成建模。
• 通过在生成过程中联合建模强度和梯度特征，提升边缘保持性和着色保真度。
• 开发一种数据保真度约束，以限制模型自由度，同时保留结构细节。
• 在无需参考图像的情况下，实现对现有方法的性能超越。

提出的方法

• 该方法使用由强度图和梯度图构成的高维张量作为生成模型的输入。
• 在这些联合强度-梯度特征上训练噪声条件得分网络，以建模数据分布。
• 在数据保真度项中引入联合强度-梯度约束，以引导迭代着色并保持边缘清晰。
• 迭代着色过程利用学习到的得分网络逐步生成合理的着色结果。
• 该模型以无监督方式运行，无需成对的参考图像。
• 框架通过在联合强度-梯度空间上使用去噪得分匹配目标进行端到端训练。

实验结果

研究问题

• RQ1 梯度图是否能提供足够的结构引导，以在无参考图像的情况下提升图像着色质量？
• RQ2 联合建模强度和梯度特征如何影响生成着色中的边缘保持性？
• RQ3 具有联合数据保真度约束的得分生成模型能否减少边缘着色溢出？
• RQ4 所提方法在定量和定性评估中是否均优于现有最先进方法？
• RQ5 联合强度-梯度表示在多大程度上增强了生成建模能力？

主要发现

• 所提方法在定量基准测试中优于最先进方法，表现出更优的着色质量。
• 用户研究证实，生成的颜色比现有方法更自然可信，且视觉上更受青睐。
• 联合强度-梯度约束显著减少了边缘着色溢出，有效保持了输出图像的锐利边界。
• 该模型在无需参考图像的情况下实现了优异性能，实现了完全无监督着色。
• 大量消融研究验证了联合建模与数据保真度约束组件的有效性。
• 该方法在多种图像类别和复杂纹理下均表现出强鲁棒性。