[论文解读] Generating coherent comic with rich story using ChatGPT and Stable Diffusion

Ze Jin, Zorina Song|arXiv (Cornell University)|May 16, 2023

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

本文提出一种利用 GPT-4 和微调后的 Stable Diffusion 生成连贯、叙事丰富的漫画的方法，通过提示工程与 LoRA 微调技术，保持角色一致性和艺术风格。在完整微调序列后，该方法在角色生成方面达到最先进性能，在 SSIM 和 FID 指标上超越 Midjourney V5。

ABSTRACT

Past work demonstrated that using neural networks, we can extend unfinished music pieces while maintaining the music style of the musician. With recent advancements in large language models and diffusion models, we are now capable of generating comics with an interesting storyline while maintaining the art style of the artist. In this paper, we used ChatGPT to generate storylines and dialogue and then generated the comic using stable diffusion. We introduced a novel way to evaluate AI-generated stories, and we achieved SOTA performance on character fidelity and art style by fine-tuning stable diffusion using LoRA, ControlNet, etc.

研究动机与目标

• 开发一种利用大型语言模型和扩散模型生成连贯、叙事丰富的漫画的流水线。
• 通过微调后的 Stable Diffusion 提升特定漫画角色（如《海贼王》）的角色生成保真度。
• 提出一种新颖的故事评分指标，基于与目标漫画及流行漫画剧情的相似性，评估 AI 生成的漫画叙事质量。
• 评估并优化扩散模型微调步骤序列（LoRA、ControlNet、CFG 调度）以实现高保真角色输出。
• 通过 SSIM 和 FID 指标与商业模型（如 Midjourney V5）进行性能基准测试。

提出的方法

• 使用 GPT-4 和 GPT-3.5 生成每页六个画格的漫画，包含角色对白和场景描述，提示中仅指定《海贼王》角色（路飞、索隆、娜美）。
• 通过《海贼王》维基提供的预设角色传记增强叙事生成，提升故事一致性。
• 提出一种故事评分指标，结合与目标漫画（《海贼王》）的相似性以及与一组流行漫画（如《火影忍者》、《死神》等）剧情的相似性，利用基于 BERT 的句子嵌入和余弦相似度计算。
• 使用在《海贼王》角色上预训练的 LoRA 权重（Lykon 的“和之国篇 LoRA”）对 Stable Diffusion 进行微调，以实现准确的角色生成。
• 应用多步骤微调流水线：LoRA 应用、CFG 比例调整、采样步数优化，以及结合 Canny 姿势估计的 ControlNet，以实现一致的角色姿态。
• 通过将生成输出与罗罗诺亚·索隆的目标图像批次进行比较，使用 SSIM 和 FID 指标评估图像质量。

实验结果

研究问题

• RQ1 当使用特定漫画角色约束提示时，GPT-4 和 GPT-3.5 是否能生成具有连贯角色表现的叙事丰富漫画页？
• RQ2 向 LLM 提供额外的角色传记知识是否能提升生成漫画故事的质量与连贯性？
• RQ3 使用 LoRA 和 ControlNet 微调的 Stable Diffusion 模型是否能在角色保真度和视觉一致性方面超越商业模型（如 Midjourney V5）？
• RQ4 所提出的故事情节评分指标在捕捉 AI 生成漫画的叙事质量与原创性方面是否有效？
• RQ5 LoRA、CFG、采样步数、ControlNet 的微调步骤序列中，哪一序列能实现角色生成的最优视觉质量？

主要发现

• GPT-4 搭配角色传记提示的故事情节评分最高（0.62），尽管相较于 GPT-3.5 的提升有限，GPT-3.5 无提示版本得分为 0.60。
• 故事情节评分指标有效捕捉了叙事连贯性，高分值与人类对故事质量及情节相关性的评价呈正相关。
• Midjourney V5 初始阶段在 SSIM 和 FID 指标上优于所有基础模型，但在完整微调后，本方法在两项指标上均超越 Midjourney V5。
• 完整的微调流水线——包括 LoRA、CFG 调整、采样步数调优，以及结合 Canny 姿势的 ControlNet——实现了稳定且高保真的角色生成，视觉质量随步骤逐步提升。
• 使用基于 BERT 的句子嵌入计算故事情节相似性，实现了计算高效且有效的故事情节评分计算，经由人类评估验证。
• 最终的漫画生成流水线成功生成了连贯、视觉一致且具有叙事连续性的漫画页面，证明了端到端 AI 漫画创作的可行性。