[論文レビュー] StoryGAN: A Sequential Conditional GAN for Story Visualization

Yitong Li, Zhe Gan+7 more|arXiv (Cornell University)|Dec 6, 2018

Multimodal Machine Learning Applications参考文献 40被引用数 22

ひとこと要約

この論文では、ストーリーの流れをモデル化するためのコンテキストエンコーダーとGRU、およびText2Gistセルを備えた順序付き条件付きGAN、すなわちStoryGANを提案する。これにより、複数文からなるストーリーから一貫性のある画像系列を生成する。画像とストーリーの両方の整合性を評価する二段階の識別器を用いる。StoryGANは、CLEVR-SVおよびPororo-SVデータセットにおいて、画像品質、文脈的一致性、人的評価の観点で最先端のモデルを上回った。

ABSTRACT

We propose a new task, called Story Visualization. Given a multi-sentence paragraph, the story is visualized by generating a sequence of images, one for each sentence. In contrast to video generation, story visualization focuses less on the continuity in generated images (frames), but more on the global consistency across dynamic scenes and characters -- a challenge that has not been addressed by any single-image or video generation methods. We therefore propose a new story-to-image-sequence generation model, StoryGAN, based on the sequential conditional GAN framework. Our model is unique in that it consists of a deep Context Encoder that dynamically tracks the story flow, and two discriminators at the story and image levels, to enhance the image quality and the consistency of the generated sequences. To evaluate the model, we modified existing datasets to create the CLEVR-SV and Pororo-SV datasets. Empirically, StoryGAN outperforms state-of-the-art models in image quality, contextual consistency metrics, and human evaluation.

研究の動機と目的

• 既存のテキストから画像、または動画を生成するモデルが、十分なグローバルなストーリーモデリングを欠いているため、複数文からなるストーリーから一貫性があり文脈的に整合性のある画像系列を生成する課題に取り組むこと。
• 画像生成中に文の間での文脈的情報を統合することで、ストーリー内の長距離依存関係や動的なシーン変化をモデル化すること。
• ストーリーと画像の両レベルで識別器を導入することで、生成画像系列のグローバルな一貫性と視覚的品質を向上させること。
• CLEVRおよびPororoデータセットの改変版（CLEVR-SVおよびPororo-SV）を用いて、新しいベンチマークタスク「ストーリー可視化」を構築し、評価すること。

提案手法

• StoryGANは、順序付き条件付きGANフレームワークを採用しており、1文ずつ生成する画像が、現在の文と以前の文からの文脈的メモリに条件付けられる。
• コンテキストエンコーダーは、GRUと新しいText2Gistセルで構成され、文の記述を適応的フィルタに変換することで、ストーリーの流れを動的に符号化し、画像生成のための特徴マップを調整する。
• Text2Gistセルは、ストーリー内の意味的・構造的変化を捉える「ゲイスト」ベクトルを学習し、生成器がフレーム間でオブジェクトやシーンの一貫性を保てるようにする。
• 二つの識別器を用いる：画像レベルの識別器は、各文とその生成画像の関連性を検証し、ストーリーレベルの識別器は、全ストーリーに対して画像系列全体のグローバルな一貫性を評価する。
• 生成器は敵対的損失と知覚的損失の両方を最小化するように最適化され、識別器は本物の系列と生成された系列を区別するように最適化される。
• フレームワークは、既存のCLEVRおよびPororoデータセットを改変して作成された二つの新しいデータセット（CLEVR-SVおよびPororo-SV）で評価される。

実験結果

リサーチクエスチョン

• RQ1 順序付き条件付きGANは、シーンや登場人物のグローバルな一貫性を保ちながら、複数文からなるストーリーから一貫性のある画像系列を効果的に生成できるか？
• RQ2 動的なコンテキストエンコーダーにText2Gistモジュールを組み込むことで、静的または非再帰的な条件付けに比べて、ストーリー進行のモデリングがどの程度向上するか？
• RQ3 画像レベルとストーリーレベルの二段階識別器は、単一の識別器または識別器なしのベースラインに比べて、生成画像系列の品質と一貫性をどの程度向上させるか？
• RQ4 ゼロショット転送による実験で、モデルは未学習のキャラクター名やストーリー構造に対しても、どの程度一般化できるか？
• RQ5 画像品質、文脈的一致性、人的好みの観点から、StoryGANは最先端のモデルと比較してどの程度の性能を示すか？

主な発見

• Pororo-SVデータセットでは、StoryGANはキャラクター分類精度が0.27を達成し、ImageGAN（0.23）、SVC（0.21）、SVFN（0.24）を大きく上回り、ストーリー関連のキャラクターを一貫して描写していることが示された。
• ペairワイズの人間評価では、視覚的品質で74.17%、一貫性で79.15%、関連性で78.08%のケースでStoryGANがImageGANを上回り、標準誤差が小さく、強い人間の好みが確認された。
• 順位ベースの人間評価では、StoryGANは平均順位1.94 ± 0.05を達成し、ImageGAN（2.91 ± 0.05）を顕著に上回り、全体的な品質と一貫性の優位性が裏付けられた。
• アブレーションスタディにより、二段階の識別器と再帰的コンテキストエンコーダー構造の両方が、グローバルな一貫性を維持し、画像品質を向上させるために不可欠であることが確認された。
• モデルは新しいキャラクター名に対しても一般化に成功した：ストーリーテンプレートを異なる名前に再利用した場合、StoryGANは一貫性があり意味的に正確な画像を生成し、アイデンティティの変更に対しても頑健であることが示された。
• 実画像におけるキャラクター分類精度の上限は0.86であったため、生成画像での0.27の性能は意味のある一貫性を示しているが、まだ向上の余地があることが示された。