[论文解读] Deep Line Art Video Colorization with a Few References

Min Shi, Jiaqi Zhang+4 more|arXiv (Cornell University)|Mar 24, 2020

Generative Adversarial Networks and Image Synthesis参考文献 33被引用 7

一句话总结

本文提出了一种仅使用少量参考图像的深度学习框架，用于自动线稿视频着色。该方法结合了非局部相似性匹配以实现局部色彩迁移，以及使用风格嵌入向量的AdaIN以实现全局色彩一致性，并通过3D卷积时间网络进一步增强；该方法实现了最先进性能，并在仅需极少微调数据的情况下，能良好泛化至新的动画风格。

ABSTRACT

Coloring line art images based on the colors of reference images is an important stage in animation production, which is time-consuming and tedious. In this paper, we propose a deep architecture to automatically color line art videos with the same color style as the given reference images. Our framework consists of a color transform network and a temporal constraint network. The color transform network takes the target line art images as well as the line art and color images of one or more reference images as input, and generates corresponding target color images. To cope with larger differences between the target line art image and reference color images, our architecture utilizes non-local similarity matching to determine the region correspondences between the target image and the reference images, which are used to transform the local color information from the references to the target. To ensure global color style consistency, we further incorporate Adaptive Instance Normalization (AdaIN) with the transformation parameters obtained from a style embedding vector that describes the global color style of the references, extracted by an embedder. The temporal constraint network takes the reference images and the target image together in chronological order, and learns the spatiotemporal features through 3D convolution to ensure the temporal consistency of the target image and the reference image. Our model can achieve even better coloring results by fine-tuning the parameters with only a small amount of samples when dealing with an animation of a new style. To evaluate our method, we build a line art coloring dataset. Experiments show that our method achieves the best performance on line art video coloring compared to the state-of-the-art methods and other baselines.

研究动机与目标

• 为解决动画制作中人工着色带来的高人力成本和时间消耗问题。
• 实现在保持全局色彩风格一致性的前提下，对线稿视频进行自动着色。
• 通过避免逐帧传播的方式，减少因逐帧着色导致的误差累积。
• 仅使用少量训练样本，即可有效适应新的动画风格。
• 构建一个基准数据集，用于评估线稿视频着色方法。

提出的方法

• 色彩变换网络使用非局部相似性匹配，在目标线稿图像与参考图像之间识别区域对应关系，以实现局部色彩迁移。
• 采用自适应实例归一化（AdaIN），结合风格嵌入向量，以从参考图像中强制实现全局色彩风格一致性。
• 3D卷积时间约束网络学习时空特征，以保持视频帧之间的色彩一致性。
• 模型端到端进行训练，且可仅使用来自新动画风格的32个视频序列进行微调。
• 该框架处理目标线稿图像和一个或多个参考图像（线稿+彩色），生成时间上一致且风格匹配的着色结果。
• 通过直接参考原始参考图像为每一帧进行着色，而非依赖前一帧的输出，从而避免误差传播。

实验结果

研究问题

• RQ1 深度学习模型能否仅使用少量参考图像，实现高质量的线稿视频着色？
• RQ2 在仅使用稀疏参考图像的情况下，如何在视频序列中保持全局色彩风格的一致性？
• RQ3 该模型能否在不进行完整重训练的情况下泛化至新的动画风格，仅使用少量微调样本？
• RQ4 与基于逐帧传播的方法相比，该方法在误差累积和视觉质量方面表现如何？
• RQ5 在性能与数据效率之间取得平衡时，参考图像和微调序列的最佳数量是多少？

主要发现

• 该方法在线稿视频着色任务上实现了最先进性能，在定性和定量评估中均优于TCVC [7]及其他SOTA基线方法。
• 在新动画风格上使用32个微调序列时，模型达到PSNR 20.21和FID 71.84，显著优于基础模型。
• 使用5张参考图像时，在质量上达到最佳平衡，FID降至21.79，PSNR达到23.83，但K>3后性能增益趋于平缓。
• 使用32个序列进行微调可稳定性能，且在超过32个序列后结果保持一致，表明收益递减。
• 该模型能良好泛化至未见过的动画，仅在新风格上微调32个序列即可获得高质量结果。
• 消融实验证实，局部（非局部匹配）与全局（AdaIN）组件对高质量着色均至关重要。