[论文解读] Deep Koalarization: Image Colorization using CNNs and Inception-ResNet-v2

Federico Baldassarre, Diego González Morín+1 more|arXiv (Cornell University)|Dec 9, 2017

Generative Adversarial Networks and Image Synthesis参考文献 20被引用 84

一句话总结

基于 CNN 的上色模型将从头训练的编码器与 Inception-ResNet-v2 的高级特征结合，在端到端、全卷积框架中为灰度图像着色，并通过用户研究评估公众接受度。

ABSTRACT

We review some of the most recent approaches to colorize gray-scale images using deep learning methods. Inspired by these, we propose a model which combines a deep Convolutional Neural Network trained from scratch with high-level features extracted from the Inception-ResNet-v2 pre-trained model. Thanks to its fully convolutional architecture, our encoder-decoder model can process images of any size and aspect ratio. Other than presenting the training results, we assess the "public acceptance" of the generated images by means of a user study. Finally, we present a carousel of applications on different types of images, such as historical photographs.

研究动机与目标

• 探索端到端的深度学习方法用于自动图像上色。
• 利用预训练的 Inception-ResNet-v2 的高级语义特征来辅助颜色估计。
• 开发一个能够处理不同大小和宽高比的全卷积编码-解码架构。
• 通过人类用户研究评估生成颜色的可信度。
• 展示在历史照片及其他图像类型上的应用。

提出的方法

• 在 CIE L*a*b* 空间中，从亮度输入图像预测 a* 和 b* 通道。
• 通过输入一个 299x299 的堆叠亮度图像，提取来自预训练的 Inception-ResNet-v2 的中高层特征嵌入。
• 通过一个跨空间位置复制嵌入的融合层，将 Inception 嵌入与编码器特征融合。
• 使用八个 3x3 卷积层训练一个编码器，以产生一个 512 通道的 H/8 x W/8 特征图。
• 使用上采样和卷积进行解码，输出一个 2 通道的 a*b* 映射，与 L* 结合形成彩色图像。
• 使用 Adam 优化器最小化预测与真实 a*b* 分量之间的均方误差。

实验结果

研究问题

• RQ1 在由预训练网络的高级特征引导下，基于 CNN 的编码-解码上色模型是否能产生真实感较高的彩色图像？
• RQ2 整合 Inception-ResNet-v2 嵌入是否比纯自训练编码器的上色效果更好？
• RQ3 所提出的架构在不同大小和宽高比的图像上表现如何？
• RQ4 由人类评估者测量的上色图像的感知真实度如何？
• RQ5 该模型是否能够为历史照片上色，以及其局限性是什么？

主要发现

• 该模型在某些图像上能够产生近似真实的着色，尤其是在具有可辨识的高层特征如天空、海洋和森林时。
• 某些结果显示颜色饱和度受限，某些区域呈现保守、偏灰的色调。
• 用户研究中的公众接受度平均达到相当高的混淆观察者的比例，表明对选定图像的着色具有可信度。
• 与其他方法的比较显示，在某些情况下提出的方法表现更好，在其他情况下取决于内容表现较差。
• 由于其全卷积设计，该方法能够处理不同大小的图像，并使用一个小的 ImageNet 子集进行训练。
• 历史照片可以重新上色，在缺乏地面真值的情况下提供主观评估。