[論文レビュー] ComicGAN: Text-to-Comic Generative Adversarial Network

Ben Proven-Bessel, Zilong Zhao+1 more|arXiv (Cornell University)|Sep 19, 2021

Generative Adversarial Networks and Image Synthesis参考文献 23被引用数 4

ひとこと要約

ComicGANは、テキスト記述からコマ絵を合成するテキストtoコマ絵生成敵対ネットワークを提案する。独自のテキスト記述生成法とコマ絵特化型画像エンコーダーを用いる。FIDスコアの向上と、テキストプロンプトと生成画像の間の強い整合性を達成し、Dilbert風のコマ絵においてベースラインGANを上回る性能を発揮する。

ABSTRACT

Drawing and annotating comic illustrations is a complex and difficult process. No existing machine learning algorithms have been developed to create comic illustrations based on descriptions of illustrations, or the dialogue in comics. Moreover, it is not known if a generative adversarial network (GAN) can generate original comics that correspond to the dialogue and/or descriptions. GANs are successful in producing photo-realistic images, but this technology does not necessarily translate to generation of flawless comics. What is more, comic evaluation is a prominent challenge as common metrics such as Inception Score will not perform comparably, as they are designed to work on photos. In this paper: 1. We implement ComicGAN, a novel text-to-comic pipeline based on a text-to-image GAN that synthesizes comics according to text descriptions. 2. We describe an in-depth empirical study of the technical difficulties of comic generation using GAN's. ComicGAN has two novel features: (i) text description creation from labels via permutation and augmentation, and (ii) custom image encoding with Convolutional Neural Networks. We extensively evaluate the proposed ComicGAN in two scenarios, namely image generation from descriptions, and image generation from dialogue. Our results on 1000 Dilbert comic panels and 6000 descriptions show synthetic comic panels from text inputs resemble original Dilbert panels. Novel methods for text description creation and custom image encoding brought improvements to Frechet Inception Distance, detail, and overall image quality over baseline algorithms. Generating illustrations from descriptions provided clear comics including characters and colours that were specified in the descriptions.

研究の動機と目的

• この分野に先行研究が存在しないため、GANを用いたテキストtoコマ絵生成パイプラインの開発を目的とする。
• 写真に近い画像生成とは顕著に異なる、一貫性があり詳細なコマ絵をテキスト記述から生成する課題に対処することを目的とする。
• コマ絵分野に特化した修正を導入することで、既存のテキストto画像GANの限界を克服することを目的とする。
• コマ絵GANの学習に適した多様で記述的なテキスト入力をスケーラブルに生成する方法の構築を目的とする。
• コマ絵の視覚的特徴に特化したカスタム画像エンコーダーの設計と評価を行い、汎用モデルに比べて生成品質を向上させることを目的とする。

提案手法

• コマ絵生成に適したテキストto画像GANアーキテクチャとして、AttnGANを改変してベースにした。
• コマ絵コマのラベルの順序入れ替えと拡張を用いて自動的にテキスト記述を生成し、多様で記述的なキャプションを生成した。
• スタイライズドライン、平らな色、キャラクタ一貫性といったコマ絵固有の視覚的特徴に最適化された、カスタムの畳み込みニューラルネットワーク（CNN）画像エンコーダーを設計した。
• 定量的評価にはFrechet Inception Distance（FID）とInception Scoreを用い、非写真的画像に適していることからFIDを主な指標とした。
• ゼロショットおよびインラインコンテキストでのテキストtoコマ絵合成を可能にするために、1,000コマのDilbertコマ絵と対応する会話文、6,000の記述的キャプションを用いて学習を行った。
• 生成画像特徴と入力テキスト埋め込みの間の整合性を向上させるために、修正版のDAMSM（Deep Visual-Semantic Hashing）損失を採用した。

実験結果

リサーチクエスチョン

• RQ1 GANベースの画像生成と評価において、コマ絵に特有の視覚的およびテキスト的特徴が、どのような具体的な課題を生じさせるか？
• RQ2 テキストto画像GANは、自然言語記述から一貫性があり高品質なコマ絵イラストを生成するために、どのように適合可能か？
• RQ3 コマのラベルから自動的にテキスト記述を生成することで、学習データの多様性とコマ合成におけるモデル性能が向上するか？
• RQ4 Inception v3のような汎用事前学習モデルに比べ、コマに最適化されたカスタム画像エンコーダーは、正確で詳細なコマ絵の生成においてどのように優れているか？
• RQ5 標準的な指標（例：Inception Score）に限界がある中で、FIDやその他の指標が、生成コマの品質と整合性をどの程度適切に評価できるか？

主な発見

• ComicGANは、ベースラインDCGANおよび標準AttnGANモデルに比べて顕著なFIDスコアの向上を達成し、実際のコマ絵と類似した視覚的忠実度と分布的類似性を示した。
• カスタムのコマ特化型CNN画像エンコーダーは、Inception v3に比べてコマの特徴抽出で優れた性能を示し、高品質な生成には分野特化アーキテクチャが不可欠であることを示唆した。
• 生成されたコマ絵は、入力記述と強い意味的整合性を示した。特に、正しいキャラクタ表現と指定された色が正確に再現されたが、稀にキャラクタの識別が誤ったケースも観察された。
• ラベルの順序入れ替えと拡張による自動テキスト記述生成は、限られた現実世界データでも効果的なGAN学習を可能にする多様で記述的なキャプションを成功裏に生成した。
• 会話文および記述的テキスト入力の両方から、一貫性があり詳細なコマ絵を効果的に合成でき、Dilbert風のテキストtoコマ絵生成の実現可能性を示した。
• アノテーション付きコマ絵データセットが不足しているにもかかわらず、定性的な評価では生成結果がオリジナルのDilbertコマ絵と視覚的に区別がつかない水準に達した。