[论文解读] cGAN-based Manga Colorization Using a Single Training Image

Paulina Hensman, Kiyoharu Aizawa|arXiv (Cornell University)|Jun 21, 2017

Generative Adversarial Networks and Image Synthesis参考文献 6被引用 10

一句话总结

本文提出了一种基于条件生成对抗网络（cGAN）的漫画上色方法，仅需一张上色参考图像即可完成训练，克服了受版权限制的彩色漫画数据集稀缺的问题。通过结合cGAN与后期处理的分割和色彩校正技术，该方法生成了清晰、高分辨率的结果，能有效保留角色原始配色方案，且伪影极少。

ABSTRACT

The Japanese comic format known as Manga is popular all over the world. It is traditionally produced in black and white, and colorization is time consuming and costly. Automatic colorization methods generally rely on greyscale values, which are not present in manga. Furthermore, due to copyright protection, colorized manga available for training is scarce. We propose a manga colorization method based on conditional Generative Adversarial Networks (cGAN). Unlike previous cGAN approaches that use many hundreds or thousands of training images, our method requires only a single colorized reference image for training, avoiding the need of a large dataset. Colorizing manga using cGANs can produce blurry results with artifacts, and the resolution is limited. We therefore also propose a method of segmentation and color-correction to mitigate these issues. The final results are sharp, clear, and in high resolution, and stay true to the character's original color scheme.

研究动机与目标

• 解决因版权限制导致的彩色漫画数据集稀缺问题。
• 仅使用每名角色一张彩色参考图像，实现准确、高分辨率的漫画上色。
• 通过后期处理的分割与色彩校正，减少cGAN生成上色结果中的伪影与模糊。
• 开发一种完全自动化的系统，每张图像均无需用户交互，优于以往的交互式方法。
• 在含网点与不含网点的漫画图像上验证该方法，证明其在不同图像类型下的鲁棒性。

提出的方法

• 在单张彩色参考图像上训练条件生成对抗网络（cGAN），以学习从灰度图像到彩色输出的映射关系。
• cGAN根据输入的灰度漫画图像和单张参考图像生成初始上色输出。
• 基于陷阱球与区域生长算法的分割流程，识别图像中的不同区域，如皮肤、头发和衣物。
• 对每个分割区域应用色彩校正，确保与参考图像的色彩调色板保持一致。
• 该方法同时处理含网点与不含网点的图像，使用无网点版本获得清晰边缘，使用网点版本保留阴影效果。
• 最终输出结合无网点图像的清晰边缘与网点图像的阴影效果，以提升真实感。

实验结果

研究问题

• RQ1 能否在仅一张彩色漫画角色参考图像上有效训练cGAN，以实现对同一名角色新图像的高质量上色？
• RQ2 所提出的分割与色彩校正流程在减少cGAN生成漫画上色中的模糊与伪影方面效果如何？
• RQ3 当应用于未见过的图像时，该方法是否能保持与原始角色配色方案一致的色彩保真度？
• RQ4 该方法在含网点与不含网点的漫画图像上表现如何？能否结合两种版本以获得更优结果？
• RQ5 与神经风格迁移相比，该方法在重复上色同一角色时的速度与质量表现如何？

主要发现

• 该方法仅需一张彩色参考图像即可成功训练cGAN，生成高分辨率、清晰的上色结果，且无需大规模数据集。
• 后期处理的分割与色彩校正显著减少了模糊与伪影，尤其在发丝与皮肤等精细细节上效果明显。
• cGAN生成的结果本身已具视觉吸引力，但完整处理流程进一步提升了清晰度与色彩准确性。
• 在速度与质量方面，该方法均优于神经风格迁移，尤其在对同一角色进行多张图像上色时优势更明显。
• 当目标图像同时具备含网点与不含网点的版本时，结合两者可获得更优结果，兼具清晰边缘与恰当阴影。
• 该方法对图像构图变化具有鲁棒性，如在不同姿态与角度下对同一角色的上色结果保持一致。