[論文レビュー] FairyTailor: A Multimodal Generative Framework for Storytelling

Eden Bensaid, Mauro Martino+2 more|arXiv (Cornell University)|Jul 13, 2021

Multimodal Machine Learning Applications参考文献 29被引用数 9

ひとこと要約

FairyTailor は、動的でインタラクティブなウェブインターフェース上で、テキスト生成と画像検索を統合することで、人間とAIが共同で子ども向け童話を創作するための、人間を介在させるマルチモーダル生成フレームワークを提案する。継続的なユーザーのフィードバック、自動補完、マルチモーダル条件付けを通じて物語の整合性と創造性を向上させ、統合的な画像の使用がインタラクティブな物語創作システムにおける物語の質とユーザーの関与度を向上させることを示している。

ABSTRACT

Storytelling is an open-ended task that entails creative thinking and requires a constant flow of ideas. Natural language generation (NLG) for storytelling is especially challenging because it requires the generated text to follow an overall theme while remaining creative and diverse to engage the reader. In this work, we introduce a system and a web-based demo, FairyTailor, for human-in-the-loop visual story co-creation. Users can create a cohesive children's fairytale by weaving generated texts and retrieved images with their input. FairyTailor adds another modality and modifies the text generation process to produce a coherent and creative sequence of text and images. To our knowledge, this is the first dynamic tool for multimodal story generation that allows interactive co-formation of both texts and images. It allows users to give feedback on co-created stories and share their results.

研究の動機と目的

• 自然言語生成（NLG）における、オープンエンドで創造的かつ整合的な物語生成の課題に、視覚モalityを統合することで対処すること。
• ユーザーがAIが生成したテキストと取得した画像をリアルタイムで共同で物語に組み込める、インタラクティブでウェブベースのプラットフォームを設計すること。
• テキストと画像を組み合わせたマルチモーダル生成が、物語の整合性、創造性、ユーザーの関与度をどのように向上させるかを調査すること。
• 人間を介在させる設定において、画像統合とインタラクティブなフィードバックがユーザー体験と物語の質に与える影響を評価すること。
• 研究者が新しいマルチモーダル物語生成モデルをテスト・拡張できるように、公開されたデモとソースコードを提供すること。

提案手法

• FairyTailor は、物語の主題的整合性を維持するために、前回の物語文脈と取得した画像特徴の両方に条件付けられた、順次的で言語と視覚を統合するフレームワークを採用している。
• 検索ベースの画像システムを用い、現在の物語セグメントと類似する意味的特徴に基づいて、データセット（例：visualGenome）から関連する画像を選択している。
• 自動補完の提案は、物語の現在の状態と視覚的文脈に条件付けられた微調整済み言語モデルを用いて動的に生成され、多様性と関連性を向上させるために再ランク付けが行われている。
• システムはリアルタイムでのユーザーインタラクションをサポートしており、ユーザーがAIが生成したテキストや画像の提案を受容・拒否・編集できる。そのフィードバックは、将来の生成をガイドするために使用される。
• プラットフォームはユーザーの入力を物語の主導的要因として位置付け、AIはアイデアを補完し、創造的かつ文脈に即した完了を提供することで物語の流れを維持している。
• ユーザーのインタラクション（例：削除、受容）を収集するフィードバックループにより、将来的な提案の改善が可能となり、ユーザー中心の生成プロセスの適応が実現している。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダル生成（テキストと画像の併用）は、インタラクティブな物語共同創作において、物語の整合性と創造性をどのように向上させるか？
• RQ2 人間を介在させる物語創作システムにおいて、ユーザーのフィードバックと画像検索を統合することで、ユーザーの関与度と物語の質はどの程度向上するか？
• RQ3 AIが生成する完了の種別（例：テキストのみ vs. テキスト＋画像）は、ユーザーの認識と物語の発展にどのような影響を及えるか？
• RQ4 リアルタイムでの画像とテキストの提案を備えた動的でインタラクティブなプラットフォームは、物語の流れのずれ（plot drift）を防ぎながら、長期間にわたる物語進行を維持できるか？
• RQ5 子ども向け物語生成において、画像の関連性とスタイルは、ユーザーの採用と物語の質の認識にどのような役割を果たすか？

主な発見

• ユーザーは、創造的で文脈的に適切なAIの自動補完が、特に執筆の途切れ（writer’s block）の克服と物語の進行維持に役立ったと報告した。
• 取得した画像を組み込んだ物語は、ユーザーが評価する物語の質が高く評価され、画像が関与度と物語の明確さを向上させたと指摘された。
• 約 50–75% のユーザーが、標準的な自動補完を拒否したが、より高品質で文脈に即した提案が提供された場合には、拒否率は 0–25% に低下した。
• ユーザーのフィードバック（削除や選択）は、フィードバックループがユーザーの意図に合わせたモデルの方向性を導くことができ、パーソナライズの向上に寄与することを示した。
• プラットフォームの公開デモとオープンソースコードにより、新しい物語生成モデルの迅速なデプロイと評価が可能となり、今後のマルチモーダルNLG分野の研究を支援している。
• ユーザーは、スタイル変換、物語の終わりの自動補完、ユーザーが提供するスタイルによるファインチューニングといった今後の機能に強い関心を示しており、カスタマイズ性の向上に対する需要がうかがえる。