[論文レビュー] Generating coherent comic with rich story using ChatGPT and Stable Diffusion

Ze Jin, Zorina Song|arXiv (Cornell University)|May 16, 2023

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

本稿では、GPT-4とファインチューニング済みStable Diffusionを用いて一貫性があり物語が豊富な漫画を生成する手法を提示する。プロンプト工学とLoRAベースのファインチューニングを活用し、キャラクターの忠実性とアートスタイルを維持する。完全なファインチューニングシーケンス後、SSIMおよびFIDメトリクスにおいてMidjourney V5を上回り、最先端の性能を達成した。

ABSTRACT

Past work demonstrated that using neural networks, we can extend unfinished music pieces while maintaining the music style of the musician. With recent advancements in large language models and diffusion models, we are now capable of generating comics with an interesting storyline while maintaining the art style of the artist. In this paper, we used ChatGPT to generate storylines and dialogue and then generated the comic using stable diffusion. We introduced a novel way to evaluate AI-generated stories, and we achieved SOTA performance on character fidelity and art style by fine-tuning stable diffusion using LoRA, ControlNet, etc.

研究の動機と目的

• 大規模言語モデルと拡散モデルを用いて一貫性があり物語が豊富な漫画を生成するパイプラインの開発。
• ファインチューニング済みStable Diffusionを用いて、特定の漫画キャラクター（例：ワンピース）の生成忠実度を向上。
• ターゲット漫画（ワンピース）および人気漫画（ナルト、BLEACHなど）のプロットとの類似性に基づき、AI生成漫画の物語的質を評価するための新規ストーリースコアメトリクスの導入。
• 安定した拡散モデル出力のためのファインチューニングステップ（LoRA、ControlNet、CFGスケーリング）の順序を評価・最適化。
• SSIMおよびFIDメトリクスを用いて、Midjourney V5などの商用モデルと性能を比較。

提案手法

• GPT-4およびGPT-3.5を用い、ワンピースのキャラクター（ルフィ、ゾロ、ナミ）のみを指定したプロンプトで、6パネルずつ漫画ページを生成。
• ワンピースWikipediaの事前プロンプト付きキャラクターの人物像を提供することで、物語の一貫性を向上。
• BERTベースの文脈埋め込みとコサイン類似度を用いて、ターゲット漫画（ワンピース）との類似性と、人気漫画（ナルト、BLEACHなど）のプロットとの類似性を組み合わせたストーリースコアメトリクスを提案。
• ワンピースのキャラクターに特化したLoRA重み（LykonのWanoサブロータのLoRA）を事前学習済みとして使用し、Stable Diffusionをファインチューニングして正確なキャラクター生成を可能にした。
• マルチステップのファインチューニングパイプラインを適用：LoRAの適用、CFGスケールの調整、サンプリングステップの最適化、Cannyポーズ推定を用いたControlNetの適用による一貫性のあるキャラクターのポーズ維持。
• Roronoa Zoroの対象画像バッチとの比較により、生成出力の品質をSSIMおよびFIDメトリクスで評価。

実験結果

リサーチクエスチョン

• RQ1 GPT-4およびGPT-3.5は、特定の漫画キャラクター制約（ワンピース）をプロンプトに与えた場合、一貫性があり物語が豊富な漫画ページを生成できるか？
• RQ2 大規模言語モデルに追加のキャラクター人物像の知識を提供することで、生成された漫画物語の質と一貫性は向上するか？
• RQ3 LoRAおよびControlNetを用いたファインチューニング済みStable Diffusionモデルは、Midjourney V5などの商用モデルを上回るキャラクターの忠実度と視覚的一致性を達成できるか？
• RQ4 提案されたストーリースコアメトリクスは、AI生成漫画の物語的質と独自性を効果的に捉えられるか？
• RQ5 LoRA、CFG、サンプリングステップ、ControlNetの順序を最適化することで、キャラクター生成における視覚的品質が最適化されるか？

主な発見

• GPT-4はキャラクターの人物像プロンプトを用いた場合、最高のストーリースコア（0.62）を達成したが、GPT-3.5との差はわずかであり、GPT-3.5はプロンプトなしで0.60を記録した。
• ストーリースコアメトリクスは物語の一貫性を効果的に捉えており、高いスコアは人間による物語の質とプロットの関連性の評価と相関していた。
• Midjourney V5は初期段階ですべてのベースモデルを上回るSSIMおよびFIDスコアを記録したが、完全なファインチューニング後、提案手法が両メトリクスでMidjourney V5を上回った。
• 完全なファインチューニングパイプライン（LoRA、CFG調整、サンプリングステップの最適化、Cannyポーズを用いたControlNet）により、一貫性があり高忠実度のキャラクター生成が達成され、視覚的品質が段階的に向上した。
• BERTベースの文脈埋め込みを用いたストーリー類似度計算により、計算的に効率的かつ効果的なストーリースコアの算出が可能となり、人間による評価で妥当性が検証された。
• 最終的な漫画生成パイプラインは、一貫性があり視覚的に整合性のある漫画ページを効果的に生成し、エンドツーエンドのAI漫画作成の可能性を示した。