[論文レビュー] Colin: A Multimodal Human-AI Co-Creation Storytelling System To Support Children's Multi-Level Narrative Skills

Lyumanshan Ye, Jiandong Jiang+8 more|arXiv (Cornell University)|May 10, 2024

Digital Storytelling and EducationHealth Professions被引用数 3

ひとこと要約

Storypark は、大規模言語モデル（LLM）を用いた質問によるスキャフォールディングフィードバックフレームワークを採用する、マルチモーダルな子供-AI共同創造型物語作成システムであり、子供の物語作成スキル、コア価値理解、物語理解を向上させることを目的としている。音声、図画、LLM駆動の対話機能を統合することで、リアルタイムかつ適応的な物語共同創造を支援し、3〜8歳の子供たちにおける学習効果とユーザー参加度を顕著に向上させた。

ABSTRACT

Children develop narrative skills by understanding and actively building connections between elements, image text matching, and consequences. However, it is challenging for children to clearly grasp these multi level links only through explanations of text or the facilitator's speech. To address this, we developed Colin, an interactive storytelling tool that supports children's multi level narrative skills through both voice and visual modalities. In the generation stage, Colin supports the facilitator to define and review the generated text and image content freely. In the understanding stage, a question feedback model helps children understand multi level connections while co creating stories with Colin. In the building phase, Colin actively encourages children to create connections between elements through drawing and speaking. A user study with 20 participants evaluated Colin by measuring children's engagement, understanding of cause and effect relationships, and the quality of their new story creations. Our results demonstrate that Colin significantly enhances the development of children's narrative skills across multiple levels.

研究の動機と目的

• インタラクティブな物語作成において、ファシリテーターが高負荷の認知的・創造的要請のため、リアルタイムで個別化された支援を受けることが難しいという課題に対処すること。
• 子供が音声、図画、LLM駆動の対話機能を統合した子供中心のマルチモーダルインターフェースを通じて、AIと物語を共同で作成できるシステムを設計すること。
• AI支援型インタラクティブな物語作成が、子供の物語のコア価値理解、物語の一般化、学習の転移をどのように向上させるかを評価すること。
• LLMをどのようにカスタマイズ・制限することで、年齢にふさわしく教育的意味を持つ物語発展を支援しつつ、幻覚や論理的誤りを最小限に抑えるかを検討すること。

提案手法

• 本システムは、三段階のインタラクティブループを採用している：(1) 子供の物語的貢献を引き出すために開放的質問を提示し、(2) 子供の入力と事前に定義された物語フレームワークに基づいて、LLMが文脈的に整合性のある物語展開を生成し、(3) 音声、テキスト、AI生成図画を含むマルチモーダル出力で物語の続きをレンダリングする。
• 子供の物語的貢献を促進するために、詳細化、推論、価値に基づく解釈を促すプロンプトを用いた質問スキャフォールディングフィードバックフレームワークを実装している。
• LLMの出力を、プロンプト工学、会話履歴の追跡、入力フィルタリング（例：キーワード抽出から会話文を除外）によって制限することで、物語の一貫性を維持し、物語のアウトラインからの逸脱を低減している。
• 物語内容に基づいて図を生成する可視的共同創造機能を統合し、子供の理解力と創造的表現を支援する視覚的ヒントを提供している。
• LLMの幻覚、特に現実世界の論理やドメイン固有の知識を含むコンテンツにおいて顕著に現れる問題を軽減するために、検証レイヤーとフィードバックループを適用している。
• 年齢に応じたインタラクションモードを設計しており、発達段階（3〜6歳、6〜8歳、8歳以上）に応じて質問の複雑さと学習の焦点を調整している。

Figure 1. Child interaction process

実験結果

リサーチクエスチョン

• RQ1 LLMを活用したシステムは、物語の一貫性と教育的整合性を保ちながら、どのように子供が物語を共同で作成するのを支援できるか？
• RQ2 子供-AI共同物語作成は、子供の物語のコア価値理解、一般化、学習の転移をどの程度向上させるか？
• RQ3 マルチモーダルインタラクション（音声、図画、テキスト）は、AI支援物語作成における子供の参加度と物語的発展にどのように影響するか？
• RQ4 LLMの幻覚を最小限に抑え、子供-AI物語作成システムにおける教育的正確性を保つために有効なデザイン戦略は何か？

主な発見

• Storyparkは、インタラクション後の評価を通じて測定された結果、子供の物語の核心的アイデア理解、一般化、物語的コンセプトの転移に関する学習効果を顕著に向上させた。
• 子供たちは高い参加度を示し、再びシステムを使用したいと強く表明しており、ポジティブなユーザーエクスペリエンスと共同物語作成パートナーとしての価値を認識していることが示された。
• 図画機能の統合により、子供の物語的表現力が向上し、理解力と創造的出力を支援する視覚的スキャフォールディングが実現した。
• LLMの幻覚（例：亀の甲羅からハーブゼリーを調合するなど、あり得ない物語展開を生成）の問題は存在したが、価値に基づく学習文脈においては教育的目標に著しく悪影響を及ぼさなかった。
• システムの適応的質問スキャフォールディングフレームワークは、子供の貢献を効果的に導き、物語の発展を支える一方で、ナラティブを混乱させたり、過負荷をかけたりすることなく対応できた。
• 20名の子供を対象としたユーザースタディーにより、発達段階に応じた複数レベルの物語的スキルを支援する上で、本システムの使いやすさと有効性が確認された。

Figure 2. User Interface of StoryPark