[论文解读] Unpaired Photo-to-manga Translation Based on The Methodology of Manga Drawing

Hao Su, Jianwei Niu+4 more|arXiv (Cornell University)|Apr 22, 2020

Generative Adversarial Networks and Image Synthesis参考文献 7被引用 6

一句话总结

MangaGAN 是一种基于 GAN 的新型无配对照片到漫画转换方法，通过多 GAN 架构模拟漫画艺术家的技法，生成几何化面部特征。该方法在新构建的漫画数据集上表现优异，实现了高质量、风格一致的漫画面部图像，面部相似度更高且线条更平滑，优于当前最先进方法。

ABSTRACT

Manga is a world popular comic form originated in Japan, which typically employs black-and-white stroke lines and geometric exaggeration to describe humans' appearances, poses, and actions. In this paper, we propose MangaGAN, the first method based on Generative Adversarial Network (GAN) for unpaired photo-to-manga translation. Inspired by how experienced manga artists draw manga, MangaGAN generates the geometric features of manga face by a designed GAN model and delicately translates each facial region into the manga domain by a tailored multi-GANs architecture. For training MangaGAN, we construct a new dataset collected from a popular manga work, containing manga facial features, landmarks, bodies, and so on. Moreover, to produce high-quality manga faces, we further propose a structural smoothing loss to smooth stroke-lines and avoid noisy pixels, and a similarity preserving module to improve the similarity between domains of photo and manga. Extensive experiments show that MangaGAN can produce high-quality manga faces which preserve both the facial similarity and a popular manga style, and outperforms other related state-of-the-art methods.

研究动机与目标

• 开发一种用于无配对照片到漫画转换的深度学习方法，以在生成逼真漫画风格作品的同时保留面部身份特征。
• 解决在无配对训练数据条件下，将真实照片转换为风格化漫画面部的挑战，同时借鉴漫画绘制实践中的洞察。
• 通过最小化噪声并增强生成漫画面部的线条连续性，提升视觉质量。
• 通过相似性保持模块，确保源照片与生成漫画输出之间的高面部相似度。
• 通过从现有漫画作品中构建大规模、高保真度的数据集，为照片到漫画转换建立新的基准。

提出的方法

• MangaGAN 采用专门设计的多 GAN 架构，用于将照片中的面部区域转换为漫画风格，对不同面部组件分别设置生成器和判别器。
• 模型使用一种新颖的结构平滑损失进行训练，以增强线条连续性并减少生成漫画面部中的像素级噪声。
• 集成相似性保持模块，对齐输入照片与生成漫画的特征分布，确保面部身份得以保留。
• 该方法在从一部热门漫画系列中构建的新数据集上进行训练，包含配对的面部关键点、身体姿态和风格化漫画特征。
• GAN 框架采用对抗性训练，以生成逼真的漫画风格输出，同时保持与漫画惯例一致的几何一致性。
• 该架构设计旨在模仿经验丰富的漫画艺术家的工作流程，强调结构夸张与风格化线条处理。

实验结果

研究问题

• RQ1 基于 GAN 的模型能否在无需配对训练数据的情况下，从真实照片生成高质量的漫画面部？
• RQ2 在从照片到漫画风格的转换过程中，模型在多大程度上能保持面部身份与相似度？
• RQ3 引入结构平滑与相似性保持组件后，对生成漫画面部的视觉质量与真实感提升程度如何？
• RQ4 多 GAN 架构能否有效建模漫画绘制中涉及的复杂几何与风格转换？
• RQ5 所提出的方法在无配对照片到漫画转换任务中，与现有最先进方法相比表现如何？

主要发现

• MangaGAN 生成的漫画面部在保留输入照片面部身份的同时，也呈现出漫画特有的几何风格化特征。
• 结构平滑损失显著减少了噪声像素并改善了线条连续性，使生成的线条更清晰、更自然。
• 相似性保持模块增强了输入照片与生成漫画之间的感知对齐，提升了跨域的面部一致性。
• 在定量指标与定性评估中，该模型均优于现有最先进方法，展现出更优的风格化效果与身份保留能力。
• 从真实漫画作品中构建的新数据集为未来无配对照片到漫画转换研究提供了宝贵基准。
• 多 GAN 架构实现了对面部区域转换的细粒度控制，使输出更准确且更具风格化。