[论文解读] ComicGAN: Text-to-Comic Generative Adversarial Network

Ben Proven-Bessel, Zilong Zhao+1 more|arXiv (Cornell University)|Sep 19, 2021

Generative Adversarial Networks and Image Synthesis参考文献 23被引用 4

一句话总结

ComicGAN 提出了一种文本到漫画的生成对抗网络，通过自定义的文本描述生成和漫画专用图像编码器，从文本描述中合成漫画分镜。该方法在 FID 分数上表现更优，且文本提示与生成图像之间对齐性更强，生成的漫画质量更高、细节更丰富，在 Dilbert 风格漫画上优于基线 GAN 模型。

ABSTRACT

Drawing and annotating comic illustrations is a complex and difficult process. No existing machine learning algorithms have been developed to create comic illustrations based on descriptions of illustrations, or the dialogue in comics. Moreover, it is not known if a generative adversarial network (GAN) can generate original comics that correspond to the dialogue and/or descriptions. GANs are successful in producing photo-realistic images, but this technology does not necessarily translate to generation of flawless comics. What is more, comic evaluation is a prominent challenge as common metrics such as Inception Score will not perform comparably, as they are designed to work on photos. In this paper: 1. We implement ComicGAN, a novel text-to-comic pipeline based on a text-to-image GAN that synthesizes comics according to text descriptions. 2. We describe an in-depth empirical study of the technical difficulties of comic generation using GAN's. ComicGAN has two novel features: (i) text description creation from labels via permutation and augmentation, and (ii) custom image encoding with Convolutional Neural Networks. We extensively evaluate the proposed ComicGAN in two scenarios, namely image generation from descriptions, and image generation from dialogue. Our results on 1000 Dilbert comic panels and 6000 descriptions show synthetic comic panels from text inputs resemble original Dilbert panels. Novel methods for text description creation and custom image encoding brought improvements to Frechet Inception Distance, detail, and overall image quality over baseline algorithms. Generating illustrations from descriptions provided clear comics including characters and colours that were specified in the descriptions.

研究动机与目标

• 开发一种基于 GAN 的文本到漫画生成流水线，因为该领域此前尚无相关工作。
• 解决从文本描述生成连贯、细节丰富的漫画的挑战，该任务与照片级真实感图像生成存在显著差异。
• 通过引入漫画领域的特定改进，克服现有文本到图像 GAN 模型的局限性。
• 设计一种可扩展的方法，用于为训练漫画 GAN 生成多样化、描述性的文本输入。
• 设计并评估一种专为漫画视觉特征定制的图像编码器，以在通用模型之上提升生成质量。

提出的方法

• 将 AttnGAN 作为基础文本到图像 GAN 架构，适配用于漫画生成。
• 通过标签排列与数据增强实现自动文本描述生成，从漫画分镜标签中生成多样化、描述性的字幕。
• 设计一种专为漫画特定视觉特征（如风格化线条、平涂色彩、角色一致性）优化的卷积神经网络（CNN）图像编码器。
• 使用 Fréchet Inception Distance（FID）和 Inception Score 进行定量评估，其中 FID 作为主要指标，因其更适合非照片级真实感图像。
• 在 1,000 幅 Dilbert 漫画分镜及其对应对话和 6,000 个描述性字幕上进行训练，以支持零样本和上下文内文本到漫画的合成。
• 采用改进的 DAMSM（Deep Visual-Semantic Hashing）损失，使生成图像特征与输入文本嵌入对齐，提升语义一致性。

实验结果

研究问题

• RQ1 漫画中的哪些独特视觉与文本特征对基于 GAN 的图像生成与评估构成特定挑战？
• RQ2 如何将文本到图像 GAN 适配为从自然语言描述生成高质量、连贯的漫画插图？
• RQ3 通过分镜标签的自动文本描述生成是否能提升训练数据多样性与漫画合成中的模型性能？
• RQ4 与通用预训练模型（如 Inception v3）相比，专为漫画优化的图像编码器在生成准确、细节丰富的漫画分镜方面表现如何？
• RQ5 考虑到标准指标（如 Inception Score）的局限性，FID 及其他指标在评估生成漫画的质量与对齐性方面具有多大适用性？

主要发现

• ComicGAN 在 FID 分数上显著优于基线 DCGAN 和标准 AttnGAN 模型，表明其生成图像具有更高的视觉保真度和与真实漫画分镜的分布相似性。
• 专为漫画设计的 CNN 图像编码器在特征提取方面优于 Inception v3，表明针对特定领域设计的架构对高质量生成至关重要。
• 生成的漫画分镜与输入描述表现出强语义对齐，包括正确的人物表现和指定颜色，尽管偶尔出现人物身份误判的情况。
• 通过标签排列与增强实现的自动文本描述生成，成功创建了多样化、描述性的字幕，使 GAN 能够在有限的真实世界数据上有效训练。
• 该模型成功从对话和描述性文本输入中合成出连贯、细节丰富的漫画分镜，证明了在 Dilbert 风格下实现文本到漫画生成的可行性。
• 尽管缺乏标注的漫画数据集，该流水线在定性评估中生成的结果与原始 Dilbert 分镜在视觉上几乎无法区分。