[论文解读] Colin: A Multimodal Human-AI Co-Creation Storytelling System To Support Children's Multi-Level Narrative Skills

Lyumanshan Ye, Jiandong Jiang+8 more|arXiv (Cornell University)|May 10, 2024

Digital Storytelling and EducationHealth Professions被引用 3

一句话总结

Storypark 是一种多模态儿童-AI 共同创作叙事系统，采用基于大语言模型（LLMs）的问题支架反馈框架，以提升儿童的叙事能力、核心价值观理解力以及故事理解力。该系统整合了语音、绘画与 LLM 驱动的对话，支持实时、自适应的叙事共创，显著提升了 3–8 岁儿童的学习成效与用户参与度。

ABSTRACT

Children develop narrative skills by understanding and actively building connections between elements, image text matching, and consequences. However, it is challenging for children to clearly grasp these multi level links only through explanations of text or the facilitator's speech. To address this, we developed Colin, an interactive storytelling tool that supports children's multi level narrative skills through both voice and visual modalities. In the generation stage, Colin supports the facilitator to define and review the generated text and image content freely. In the understanding stage, a question feedback model helps children understand multi level connections while co creating stories with Colin. In the building phase, Colin actively encourages children to create connections between elements through drawing and speaking. A user study with 20 participants evaluated Colin by measuring children's engagement, understanding of cause and effect relationships, and the quality of their new story creations. Our results demonstrate that Colin significantly enhances the development of children's narrative skills across multiple levels.

研究动机与目标

• 解决在互动式叙事中，指导者因认知与创造力要求过高而缺乏实时个性化支持的挑战。
• 设计一种系统，通过在以儿童为中心的多模态界面中整合语音、绘画与 LLM 驱动的对话，使儿童能够与 AI 共同创作故事。
• 评估 AI 支持的互动式叙事是否能够提升儿童对故事核心价值观、叙事泛化能力以及学习迁移的理解。
• 探索如何对 LLM 进行定制与约束，以支持符合年龄特点、具有教育意义的故事发展，同时最小化幻觉与逻辑错误。

提出的方法

• 该系统采用三阶段互动循环：(1) 提出开放式问题以激发儿童的叙事贡献，(2) 利用 LLM 基于儿童输入与预设的故事框架生成语境连贯的故事扩展，(3) 通过包含语音、文本与 AI 生成绘画的多模态输出呈现故事延续。
• 实施问题支架反馈框架，通过鼓励扩展、推理与基于价值观的解读的提示，引导儿童的叙事贡献。
• 通过提示工程、对话历史追踪与输入过滤（例如，从关键词提取中移除对话内容）对 LLM 输出进行约束，以保持叙事一致性并减少与故事大纲的偏离。
• 通过基于故事内容生成绘画的方式实现视觉共创，为儿童的理解与创造性表达提供视觉提示。
• 应用验证层与反馈回路以减轻 LLM 幻觉的影响，特别是在涉及现实世界逻辑或特定领域知识的内容中。
• 系统设计了符合年龄特点的交互模式，根据发展阶段（3–6 岁、6–8 岁、8 岁以上）调整问题复杂度与学习重点。

Figure 1. Child interaction process

实验结果

研究问题

• RQ1 LLM 驱动的系统如何在保持叙事连贯性与教育一致性的同时，支持儿童共同创作故事？
• RQ2 儿童-AI 协作式叙事在多大程度上提升了儿童对故事核心价值观、泛化能力与学习迁移的理解？
• RQ3 多模态互动（语音、绘画、文本）如何影响儿童在 AI 辅助叙事中的参与度与叙事发展？
• RQ4 哪些设计策略能有效减少 LLM 幻觉，并确保儿童-AI 叙事系统中的教育准确性？

主要发现

• 通过互动后评估发现，Storypark 显著提升了儿童在理解故事核心思想、叙事概念泛化与迁移方面的学习成效。
• 儿童表现出高度参与度，并强烈表达出再次使用该系统的意愿，表明用户体验良好，且认为系统是富有价值的协作叙事伙伴。
• 绘画功能的整合增强了儿童的叙事表达能力，并提供了视觉支架，支持理解与创造性输出。
• 尽管存在 LLM 幻觉问题——例如生成不合逻辑的故事延续（如用乌龟壳制作草本果冻）——但在基于价值观的学习情境中，这些问题并未严重干扰教育目标。
• 系统的自适应问题支架框架有效引导了儿童的贡献，支持了故事发展，而未造成认知过载或叙事偏离。
• 20 名儿童参与的用户研究证实，该系统在支持不同发展阶段儿童的多层次叙事能力方面具有良好的可用性与有效性。

Figure 2. User Interface of StoryPark