[論文レビュー] Neural Storyboard Artist: Visualizing Stories with Coherent Image Sequences

Shizhe Chen, Bei Liu+7 more|arXiv (Cornell University)|Nov 24, 2019

Multimodal Machine Learning Applications参考文献 32被引用数 4

ひとこと要約

本稿では、文脈に配慮した高密度な視覚的・意味的マッチングモデルを用いて関連する映画的画像を事前に取得し、その後、領域の削除、スタイル統一、キャラクタ置換による精錬によって視覚的一致性と関連性を確保する、インspire＆クリエイトフレームワークを自動ストーリーボード生成のために提案する。本手法は、ドメイン内およびドメイン外のデータセットにおいて最先端の性能を達成し、自動評価および人間評価の両方で優れた定量的・定性的な結果を示した。

ABSTRACT

A storyboard is a sequence of images to illustrate a story containing multiple sentences, which has been a key process to create different story products. In this paper, we tackle a new multimedia task of automatic storyboard creation to facilitate this process and inspire human artists. Inspired by the fact that our understanding of languages is based on our past experience, we propose a novel inspire-and-create framework with a story-to-image retriever that selects relevant cinematic images for inspiration and a storyboard creator that further refines and renders images to improve the relevancy and visual consistency. The proposed retriever dynamically employs contextual information in the story with hierarchical attentions and applies dense visual-semantic matching to accurately retrieve and ground images. The creator then employs three rendering steps to increase the flexibility of retrieved images, which include erasing irrelevant regions, unifying styles of images and substituting consistent characters. We carry out extensive experiments on both in-domain and out-of-domain visual story datasets. The proposed model achieves better quantitative performance than the state-of-the-art baselines for storyboard creation. Qualitative visualizations and user studies further verify that our approach can create high-quality storyboards even for stories in the wild.

研究の動機と目的

• 複数文の物語から一貫性があり映画的なストーリーボードを生成する課題に取り組むこと。これは、高い視覚的関連性と一貫性を要する。
• 既存の検索ベースの手法が文脈を無視し、柔軟性に欠け、一貫性のないスタイルやキャラクタを生成するという限界を克服すること。
• 高品質で多様かつ関連性のある画像合成に苦労する生成ベースの手法を改善すること。
• 既存の高品質な画像をインスピレーションとして活用しつつ、柔軟で一貫性があり現実的な視覚化を可能にするシステムを開発すること。
• 中国のことわざのようなドメイン外または複雑な物語に対しても、自動的に高品質なストーリーボードを作成できること。

提案手法

• 物語文脈の階層的アテンションを動的に符号化することで、文脈に配慮した高密度な視覚的・意味的マッチング（CADM）モデルに基づくストーリーから画像を検索する手法を提案する。
• 高密度な視覚的・意味的マッチングを用いて、個々の語を画像領域にマッピングすることで、正確な画像検索と将来のレンダリングを可能にする。
• 必要に応じて、1文あたり複数の補完的画像を取得するためのグリーディデコード戦略を採用し、長文や複雑な文のカバーを向上させる。
• ストーリーボード作成者として、3段階のレンダリング処理を実装する：(1) 関連のない画像領域を特定して削除する、(2) 画像間の視覚的外観を調和させるスタイル統一、(3) 一貫性のあるキャラクタ表現のための準手動3Dキャラクタ置換。
• 視覚的検索と画像精錬を統合することで、最終的なストーリーボードシーケンスにおける関連性、多様性、一貫性のバランスを図る。
• 学習から再構築を避けるために、事前に存在する映画的画像コレクションを活用し、リアルさと視覚的品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 文脈モデリングを組み込んだ検索ベースのアプローチは、単一文の検索と比較して、ストーリーボード生成における画像の関連性と一貫性を向上させることができるか？
• RQ2 語レベルのグランドイングを伴う高密度な視覚的・意味的マッチングは、物語の視覚化における画像検索精度をどの程度向上させることができるか？
• RQ3 画像精錬技術（領域の削除、スタイル統一、キャラクタ置換）は、自動生成ストーリーボードにおける視覚的一致性をどの程度向上させることができるか？
• RQ4 インスパイア＆クリエイトフレームワークは、抽象的物語やことわざのようなドメイン外の物語にも、最小限の教師信号で一般化可能か？
• RQ5 定量的指標および人間評価において、提案手法は最先端の生成および検索ベースラインと比較してどの程度優れているか？

主な発見

• 提案されたCADM検索モデルは、ドメイン内およびドメイン外の両設定においてベースライン検索モデルを著しく上回り、中国のことわざ物語において人間評価で14.2%の絶対的向上（38.4%から52.2%の「良い」評価）を達成した。
• インスパイア＆クリエイトフレームワークは、自動指標および人間評価の両方で最先端の性能を達成し、優れた視覚的一致性と関連性を示した。
• 人間評価では、77.6%のストーリー文が適切に（良いまたはまあまあ）視覚化されており、多様な物語タイプにわたる優れた定性的なパフォーマンスを示した。
• 領域の削除、スタイル統一、3Dキャラクタ置換を含む複数段階のレンダリングパイプラインは、視覚的一致性を著しく向上させ、最終バージョンがプロフェッショナルなストーリーボードに非常に近いものとなった。
• フレームワークは物語タイプにわたって良好に一般化され、抽象的または文化的に特異な物語（例：中国のことわざ）に対しても、高い視覚的検索性能を維持した。
• 定性的な結果から、文脈に配慮した検索モデルは、非文脈的ベースラインと比較して、複雑または曖昧な文においてより正確で一貫性のある画像を選択していることが明らかになった。