[论文解读] Color2Embed: Fast Exemplar-Based Image Colorization using Color Embeddings

Hengyuan Zhao, Wenhao Wu+2 more|arXiv (Cornell University)|Jun 15, 2021

Generative Adversarial Networks and Image Synthesis参考文献 41被引用 12

一句话总结

Color2Embed 提出了一种快速、轻量的基于样本的图像着色方法，采用自增强自参考学习和学习到的颜色嵌入。通过薄板样条变换生成合成参考图像，并利用渐进式特征形式化网络注入颜色嵌入，该方法在 1024×1024 图像上实现了推理速度低于 0.32 秒的最先进视觉质量，显著优于以往方法在速度和伪影减少方面的表现。

ABSTRACT

In this paper, we present a fast exemplar-based image colorization approach using color embeddings named Color2Embed. Generally, due to the difficulty of obtaining input and ground truth image pairs, it is hard to train a exemplar-based colorization model with unsupervised and unpaired training manner. Current algorithms usually strive to achieve two procedures: i) retrieving a large number of reference images with high similarity for preparing training dataset, which is inevitably time-consuming and tedious; ii) designing complicated modules to transfer the colors of the reference image to the target image, by calculating and leveraging the deep semantic correspondence between them (e.g., non-local operation), which is computationally expensive during testing. Contrary to the previous methods, we adopt a self-augmented self-reference learning scheme, where the reference image is generated by graphical transformations from the original colorful one whereby the training can be formulated in a paired manner. Second, in order to reduce the process time, our method explicitly extracts the color embeddings and exploits a progressive style feature Transformation network, which injects the color embeddings into the reconstruction of the final image. Such design is much more lightweight and intelligible, achieving appealing performance with fast processing speed.

研究动机与目标

• 为解决在无配对训练数据的情况下训练基于样本的着色模型的挑战，通过自增强实现配对训练范式。
• 在推理过程中消除对昂贵参考图像检索和复杂对应关系计算的依赖。
• 开发一种轻量、高效的架构，实现实时处理的同时保持高视觉保真度。
• 通过仅使用像素级重建损失和感知损失，减少对复杂损失函数的依赖，实现稳定训练。
• 在不引入颜色污染或伪影的前提下，实现对多样化参考图像的鲁棒着色。

提出的方法

• 使用薄板样条（TPS）变换从单个输入彩色图像生成多个自参考图像，实现在无需外部数据集情况下的配对监督训练。
• 采用多层感知机（MLP）从参考图像特征中提取高维颜色嵌入，捕捉全局颜色统计信息。
• 使用专用的内容编码器网络将输入灰度图像编码为深度内容嵌入。
• 引入渐进式特征形式化网络（PFFN），通过渐进式特征形式化模块（PFFB）逐步将颜色嵌入注入内容特征。
• 仅使用两种损失函数——像素级重建损失和感知损失——以实现高效且稳定的模型训练。
• 避免使用非局部操作和对应关系图计算，显著降低推理时间和计算成本。

实验结果

研究问题

• RQ1 自增强自参考学习是否能够在无需外部参考数据库的情况下实现有效的基于样本着色模型训练？
• RQ2 从变换后的参考图像中提取的颜色嵌入是否能有效将颜色传递到灰度输入，而无需复杂的对应关系建模？
• RQ3 仅使用最小损失函数的轻量级架构是否能在实现实时推理的同时实现具有竞争力的性能？
• RQ4 与现有基于样本的着色方法相比，该方法在速度和视觉质量方面表现如何？
• RQ5 该模型是否能在多样化参考图像上实现鲁棒泛化，而不会引入颜色伪影或污染？

主要发现

• Color2Embed 在 256×256、512×512 和 1024×1024 图像分辨率下的推理时间分别为 0.03 秒、0.08 秒和 0.32 秒，显著优于以往方法如 He et al. [12] 和 Lu et al. [29]，在速度和可扩展性方面表现更优。
• 消融研究证实，自增强自参考学习可有效防止颜色污染，如图 8 所示，未使用增强的模型会产生严重伪影。
• 仅使用重建损失和感知损失的模型性能优于使用复杂损失组合的模型，如图 10 所示，单损失模型会产生错误或不一致的颜色。
• 定性比较表明，Color2Embed 能够避免颜色污染，并在局部区域产生比 [12] 和 [29] 更自然的结果。
• 该方法对多样化参考图像表现出强鲁棒性，如图 9 所示，不同参考图像均能产生一致且风格恰当的着色结果。
• 该模型在真实老照片上的视觉质量达到最先进水平（图 7 和图 9），伪影极少，颜色传递准确。