[论文解读] A learning-based approach for automatic image and video colorization

Raj Kumar Gupta, Alex Yong-Sang Chia+2 more|arXiv (Cornell University)|Apr 15, 2017

Image Enhancement Techniques参考文献 5被引用 5

一句话总结

该论文提出了一种基于学习的、无需用户干预的自动图像与视频着色方法，结合超像素与随机森林回归。通过在参考彩色图像上进行训练，以预测灰度超像素的色度值，再经投票与优化进行细化，该方法实现了高空间一致性与具有竞争力的结果，无需手动涂抹，且在具有大运动或遮挡的多样化图像与视频上优于当前最先进方法。

ABSTRACT

In this paper, we present a color transfer algorithm to colorize a broad range of gray images without any user intervention. The algorithm uses a machine learning-based approach to automatically colorize grayscale images. The algorithm uses the superpixel representation of the reference color images to learn the relationship between different image features and their corresponding color values. We use this learned information to predict the color value of each grayscale image superpixel. As compared to processing individual image pixels, our use of superpixels helps us to achieve a much higher degree of spatial consistency as well as speeds up the colorization process. The predicted color values of the gray-scale image superpixels are used to provide a 'micro-scribble' at the centroid of the superpixels. These color scribbles are refined by using a voting based approach. To generate the final colorization result, we use an optimization-based approach to smoothly spread the color scribble across all pixels within a superpixel. Experimental results on a broad range of images and the comparison with existing state-of-the-art colorization methods demonstrate the greater effectiveness of the proposed algorithm.

研究动机与目标

• 通过用参考图像中的自动颜色传递替代手动涂抹，减少或消除图像与视频着色中的用户干预。
• 通过在超像素而非单个像素上操作，提升空间一致性与计算效率。
• 开发一种鲁棒的着色框架，即使在视频序列中存在大物体位移或遮挡时也能有效工作。
• 实现自动着色，其质量可与现有最先进方法相媲美或超越，且无需空间位置或分割输入。

提出的方法

• 该方法使用超像素分割将空间上一致的图像区域分组，以降低计算复杂度并提高空间一致性。
• 基于局部外观与邻域上下文，从每个超像素中提取图像特征，以表征纹理与结构。
• 处理参考彩色图像，计算其超像素的量化颜色标签，形成随机森林回归器的训练数据。
• 训练好的随机森林预测每个灰度图像超像素的色度值（非完整RGB），在超像素中心生成微涂鸦。
• 通过基于投票的细化步骤，合并相似的超像素，以提高颜色涂鸦的准确性并减少噪声。
• 采用基于优化的颜色传播技术，将细化后的微涂鸦平滑地传播至每个超像素内部，生成最终着色图像。

实验结果

研究问题

• RQ1 基于学习的方法能否在无需任何用户指定颜色涂鸦或掩码的情况下，实现高质量的自动着色？
• RQ2 与单个像素相比，使用超像素在自动着色中的空间一致性与计算效率方面有何影响？
• RQ3 在参考图像上训练的随机森林模型，能在多大程度上泛化到未见过的灰度图像，以准确预测色度值？
• RQ4 在存在大位移或遮挡的视频序列中，该方法表现如何，而传统光流方法常在此类情况下失效？

主要发现

• 所提方法的着色结果在视觉上与真实图像相当，并优于多种最先进方法，包括需要用户输入的方法。
• 该算法显著减少了用户工作量，通过消除对手动颜色涂鸦或分割的需求，仅依赖一张或多张参考彩色图像。
• 使用超像素使空间一致性更高，处理速度更快，相较于像素级方法，同时保持了高视觉质量。
• 该方法在存在大物体位移或遮挡的视频帧之间成功实现了颜色传递，而基于光流的方法通常在此类情况下失效。
• 在颜色涂鸦细化步骤中进行少量用户交互（如合并区域）可进一步提升结果，尤其在复杂或纹理丰富的区域。