[论文解读] Image Colorization Using a Deep Convolutional Neural Network

Tung Duc Nguyen, Kazuki Mori+1 more|arXiv (Cornell University)|Apr 27, 2016

Generative Adversarial Networks and Image Synthesis参考文献 4被引用 24

一句话总结

本文提出了一种基于深度卷积神经网络的方法，通过将参考彩色图像的风格迁移至具有语义相似性的灰度输入图像，实现自动图像着色。该方法利用预训练的卷积神经网络分离内容与风格，随后通过特征空间优化相结合，实现在基准数据集上的最先进性能，并首次成功为历史浮世绘作品着色。

ABSTRACT

In this paper, we present a novel approach that uses deep learning techniques for colorizing grayscale images. By utilizing a pre-trained convolutional neural network, which is originally designed for image classification, we are able to separate content and style of different images and recombine them into a single image. We then propose a method that can add colors to a grayscale image by combining its content with style of a color image having semantic similarity with the grayscale one. As an application, to our knowledge the first of its kind, we use the proposed method to colorize images of ukiyo-e a genre of Japanese painting?and obtain interesting results, showing the potential of this method in the growing field of computer assisted art.

研究动机与目标

• 开发一种基于深度学习的灰度图像自动着色方法。
• 通过匹配灰度图像与彩色图像之间的内容和风格，实现在语义感知下的颜色迁移。
• 在具有文化重要意义的浮世绘作品上展示该方法的有效性，开拓了全新的应用领域。
• 探索预训练卷积神经网络在图像生成任务中分离内容与风格的潜力。

提出的方法

• 该方法使用预训练的卷积神经网络（例如 VGG）进行特征提取，利用其学习到的层次化表征。
• 从灰度图像中提取内容特征，从语义相似的彩色图像中提取风格特征。
• 通过优化输出图像，使其在内容特征上匹配输入图像，在风格特征上匹配参考图像，实现着色。
• 损失函数结合了内容损失（内容特征之间的L2距离）和风格损失（基于Gram矩阵的风格特征距离）。
• 通过反向传播端到端执行优化，生成着色后的输出图像。
• 该方法应用于浮世绘作品，展示了其在保留艺术风格的同时添加合理颜色的能力。

实验结果

研究问题

• RQ1 能否通过结合来自不同图像的内容与风格特征，有效微调预训练的卷积神经网络以实现图像着色？
• RQ2 分类网络中的深度特征在语义上有意义地实现颜色迁移方面表现如何？
• RQ3 该方法能否在历史和艺术类图像（如浮世绘）上生成视觉上合理且上下文准确的着色结果？
• RQ4 与现有着色技术相比，该方法在标准基准测试中的表现如何？

主要发现

• 通过利用预训练网络的深度特征，该方法在标准图像着色基准测试中实现了最先进性能。
• 该方法成功为浮世绘作品着色，生成了视觉上合理且艺术风格一致的结果，展示了其在文化遗产应用中的潜力。
• 使用Gram矩阵计算风格损失，实现了有效的风格迁移，同时保持了输入图像的结构内容。
• 该方法通过从大规模图像数据中学习语义感知的颜色分布，优于传统着色方法。