[论文解读] Comicolorization: Semi-Automatic Manga Colorization

Chie Furusawa, Kazuyuki Hiroshiba+2 more|arXiv (Cornell University)|Jun 21, 2017

Generative Adversarial Networks and Image Synthesis参考文献 13被引用 15

一句话总结

本文提出 Comico­lorization，一种半自动漫画着色系统，利用参考图像提取颜色特征，并引导深度神经网络实现整页漫画的一致性着色。通过利用对抗性损失和交互式优化，该方法在保持各画格间颜色连贯性的同时，解决了全自动方法固有的颜色模糊性问题，实现了视觉上逼真且生动的着色效果。

ABSTRACT

We developed "Comicolorization", a semi-automatic colorization system for manga images. Given a monochrome manga and reference images as inputs, our system generates a plausible color version of the manga. This is the first work to address the colorization of an entire manga title (a set of manga pages). Our method colorizes a whole page (not a single panel) semi-automatically, with the same color for the same character across multiple panels. To colorize the target character by the color from the reference image, we extract a color feature from the reference and feed it to the colorization network to help the colorization. Our approach employs adversarial loss to encourage the effect of the color features. Optionally, our tool allows users to revise the colorization result interactively. By feeding the color features to our deep colorization network, we accomplish colorization of the entire manga using the desired colors for each panel.

研究动机与目标

• 解决黑白漫画中因视觉差异导致同一角色在不同画格中着色不一致的问题。
• 克服全自动着色中固有的“颜色模糊性问题”，即相似外观的角色或不一致的特征导致错误或不一致的颜色分配。
• 通过使用参考图像实现半自动处理，减少人工干预，实现对整部漫画（多页）的高效、可扩展着色。
• 提供交互式修改工具，允许用户通过少量输入（如颜色点或直方图调整）对结果进行精细修正。
• 通过从参考图像中提取的颜色特征作为指导，确保在多个画格间实现一致的颜色应用。

提出的方法

• 使用二值化方法及基于 Ishii 等（2009）提出的方法对漫画页面进行自动画格分割，以分离出独立的画格供处理。
• 利用基于直方图的调色板表示方法，从参考图像中提取颜色特征，以定义角色的目标颜色分布。
• 训练一个带有对抗性损失的深度卷积神经网络，以生成在参考颜色特征引导下逼真且高质量的着色输出。
• 在多个角色同时出现时应用直方图混合，整合来自多张参考图像的颜色特征，提升复杂画格中的着色准确性。
• 通过颜色点和直方图操作支持交互式修正，使用户能以最少输入纠正或优化着色结果。
• 通过调整大小并叠加原始黑白图像中的文字和线稿，重建最终的着色漫画页面，以保持版面布局与可读性。

实验结果

研究问题

• RQ1 在存在视觉差异的情况下，如何实现在漫画多个画格中对同一角色的着色一致性？
• RQ2 参考图像在多大程度上能引导深度学习模型生成合理且生动的着色结果，而无需对每个画格进行人工标注？
• RQ3 与基线方法相比，对抗性训练在提升自动着色漫画的逼真度与视觉质量方面效果如何？
• RQ4 颜色特征与交互式颜色点结合使用，在保持颜色准确性的同时，能否有效降低用户操作负担？
• RQ5 对多张参考图像进行直方图混合，是否能提升多角色画格中的着色效果，减少因冲突颜色线索导致的错误？

主要发现

• 所提系统成功实现了整页漫画的一致且生动的着色，避免了全自动方法中常见的“暗淡”或“不一致”着色问题。
• 利用参考图像作为颜色特征来源，使网络能够在多个画格中为同一角色保持相同颜色，有效解决了核心的颜色模糊性问题。
• 对抗性损失的引入显著提升了生成着色图像的逼真度与视觉质量，相比基线模型表现更优。
• 通过颜色点与直方图调整实现的交互式修正，使用户能以极少输入纠正细微不一致，显著提升了系统可用性。
• 多张参考图像的直方图混合在复杂画格中表现更优，相比单参考图像方法，有效减少了误着色现象。
• 系统在 Manga 109 全数据集上取得高质量结果，证明了其在多样漫画风格与角色设计下的可扩展性与鲁棒性。