[論文レビュー] SARD: A Human-AI Collaborative Story Generation

Ahmed Y. Radwan, Khaled M. Alasmari+2 more|arXiv (Cornell University)|Mar 3, 2024

Artificial Intelligence in Games被引用数 4

ひとこと要約

SARDは、大規模言語モデル（LLM）を用いた人間とAIの共同物語生成を可能にするドラッグアンドドロップ型のビジュアルインターフェースである。ユーザーはノードベースの物語構造によって複数章にわたる物語を構築できる。メンタルモデルの構築を支援する一方で、認知的負荷が生じ、LLMが出力する物語は物語の複雑さに関わらず一貫して語彙の多様性が低い。

ABSTRACT

Generative artificial intelligence (GenAI) has ushered in a new era for storytellers, providing a powerful tool to ignite creativity and explore uncharted narrative territories. As technology continues to advance, the synergy between human creativity and AI-generated content holds the potential to redefine the landscape of storytelling. In this work, we propose SARD, a drag-and-drop visual interface for generating a multi-chapter story using large language models. Our evaluation of the usability of SARD and its creativity support shows that while node-based visualization of the narrative may help writers build a mental model, it exerts unnecessary mental overhead to the writer and becomes a source of distraction as the story becomes more elaborated. We also found that AI generates stories that are less lexically diverse, irrespective of the complexity of the story. We identified some patterns and limitations of our tool that can guide the development of future human-AI co-writing tools.

研究の動機と目的

• 複数章にわたる物語作成を支援する人間とAIの共同物語生成システムの設計と評価を目的とする。
• ビジュアルでノードベースのインターフェースが物語作成中のユーザーの認知的負荷とクリエイティブワークフローに与える影響を調査すること。
• 共同創造の文脈におけるAI生成物語の質、一貫性、語彙多様性を評価すること。
• AI支援物語作成におけるユーザーのコントロール感、自律性、所有感の認識を特定すること。
• 特に創造性とユーザーの意図との整合性の面で、現在のLLMが物語生成において抱える制限を解明すること。

提案手法

• SARDは、ユーザーがキャラクター、出来事、プロットのポイントを表す物語ノードをドラッグアンドドロップで作成するビジュアルインターフェースを採用している。
• 大規模言語モデル（LLM）は、ユーザーが定義した物語構造とノード間の関係に基づいて、章ごとのコンテンツを生成する。
• 繰り返しの物語開発を可能とする。ユーザーはノードの順序を変更したり、コンテンツを再生成したりできる。
• 語彙多様性は、トークンタイプ比（TTR）を用いて定量的に測定され、生成された物語における語彙のばらつきを評価する。
• ユーザー研究では、質的インタビューと使いやすさに関するアンケートを実施し、主観的な創造性、コントロール感、認知的負荷を評価する。
• 参加者はSARDを用いて三幕構成の物語を作成し、ストーリーボードと最終的な物語が一貫性と多様性の観点から分析された。

Figure 1: SARD: Novel generation through interactive storyboard. The user starts with (1) where the user sets the story structure and genre. (2) is where the user can create and add elements, either character, action, or relationship, to their storyboard. (2) can also be used to navigate through dif

実験結果

リサーチクエスチョン

• RQ1 物語作成のためのノードベースのビジュアルインターフェースは、ユーザーの認知的負荷とメンタルモデルの維持にどのように影響するか？
• RQ2 物語の複雑さが異なる場合でも、LLMが生成するコンテンツはどの程度語彙多様性を維持しているか？
• RQ3 構造化されたインターフェースの中でAIと共同執筆する際、ユーザーはどのように自律性やコントロール感を認識しているか？
• RQ4 LLMに依存して物語生成を行う際、ユーザーが直面する主な制限は何であるか？
• RQ5 このインターフェースは、最終的な物語出力の質と創造性にどのように影響を及ぼしているか？

主な発見

• 生成された物語の平均トークンタイプ比（TTR）はM = 0.47（SD = 0.09）であり、すべての参加者において一貫して低い語彙多様性が示された。
• 全参加者がSARDに対して肯定的な態度を示し、自分たちの初期アイデアをはるかに超える語彙の拡張と物語の複雑化を可能にしたと述べた。
• メンタルモデルの構築を支援する一方で、ノードベースのインターフェースは不要な認知的負荷を生じさせ、特に登場人物や出来事が増加するに従って顕著になった。
• ノードの順序を変更したりプロンプトを調整しても、AIの出力が意図した物語の流れと一致しない場合、参加者が不満を抱いた。
• 一部のユーザーは、初期のアイデア出しのために外部ツール（例：ChatGPT）を活用しており、SARDがアイデア生成の支援に限界を示していることがうかがえた。
• システムが章の要約を表示していなかったため、参加者は長時間にわたる物語開発の過程で方向感覚を保つのに苦労したと感じた。

Figure 2: Results from Study 1: (a) SUS Scores, (b) MICSI Sub-Scale Scores, (c) Exploratory Question Responses.