[논문 리뷰] Colin: A Multimodal Human-AI Co-Creation Storytelling System To Support Children's Multi-Level Narrative Skills

Lyumanshan Ye, Jiandong Jiang외 8명|arXiv (Cornell University)|2024. 05. 10.

Digital Storytelling and EducationHealth Professions인용 수 3

한 줄 요약

Storypark는 대화형 스토리텔링을 통해 어린이의 서사 기술, 핵심 가치 이해도 및 스토리 이해력을 향상시키기 위해 대규모 언어 모델(Large Language Models, LLMs)을 활용한 질문 기반 구조화된 피드백 프레임워크를 사용하는 다중모odal 어린이-AI 공동 창작 스토리텔링 시스템이다. 음성, 그림, LLM 기반 대화를 통합하여 실시간으로 적응 가능한 스토리 공동 창작을 지원하며, 3–8세 어린이의 학습 성과와 참여도를 크게 향상시킨다.

ABSTRACT

Children develop narrative skills by understanding and actively building connections between elements, image text matching, and consequences. However, it is challenging for children to clearly grasp these multi level links only through explanations of text or the facilitator's speech. To address this, we developed Colin, an interactive storytelling tool that supports children's multi level narrative skills through both voice and visual modalities. In the generation stage, Colin supports the facilitator to define and review the generated text and image content freely. In the understanding stage, a question feedback model helps children understand multi level connections while co creating stories with Colin. In the building phase, Colin actively encourages children to create connections between elements through drawing and speaking. A user study with 20 participants evaluated Colin by measuring children's engagement, understanding of cause and effect relationships, and the quality of their new story creations. Our results demonstrate that Colin significantly enhances the development of children's narrative skills across multiple levels.

연구 동기 및 목표

• 높은 인지적 및 창의적 요구가 수반되는 상호작용적 스토리텔링에서 facilitator(유도자)가 실시간으로 개인화된 지원을 받지 못하는 문제를 해결하기 위해.
• 어린이 중심의 다중모달 인터페이스에 음성, 그림, LLM 기반 대화를 통합하여 어린이가 AI와 함께 스토리를 공동 창작할 수 있도록 시스템을 설계하기 위해.
• AI 지원 상호작용적 스토리텔링이 어린이의 스토리 핵심 가치 이해도, 서사 일반화 능력 및 학습의 전이 능력 향상에 기여하는지 평가하기 위해.
• LLM을 어떻게 맞춤화하고 제약 조건을 설정하여 연령에 적합하고 교육적으로 의미 있는 스토리 발전을 지원하면서 환상 및 논리적 오류를 최소화할 수 있을지 탐색하기 위해.

제안 방법

• 시스템은 세 단계로 구성된 상호작용 루프를 활용한다: (1) 어린이의 서사 기여를 이끌어내기 위해 개방형 질문을 제시하고, (2) 어린이의 입력과 사전 정의된 스토리 프레임워크를 기반으로 LLM이 맥락적으로 일관된 스토리 확장을 생성하며, (3) 음성, 텍스트, AI 생성 그림를 포함한 다중모달 출력을 통해 스토리 이어짐을 렌더링한다.
• 어린이의 서사 기여를 유도하기 위해 어휘 확장, 추론, 가치 기반 해석을 장려하는 프롬프트를 사용하는 질문 기반 구조화된 피드백 프레임워크를 구현한다.
• LLM 출력을 프롬프트 엔지니어링, 대화 기록 추적, 입력 필터링(예: 키워드 추출에서 대화 제거)을 통해 제약하여 서사 일관성을 유지하고 스토리 개요에서의 이탈을 줄인다.
• 스토리 콘텐츠를 기반으로 AI가 그림을 생성함으로써 시각적 공동 창작을 구현하여 어린이의 이해도 및 창의적 표현을 지원하는 시각적 단서를 제공한다.
• LLM의 환상 문제를 완화하기 위해 검증 레이어와 피드백 루프를 적용하며, 특히 현실 세계의 논리나 영역 전문 지식을 포함하는 콘텐츠에서 특히 주의를 기울인다.
• 연령에 맞는 상호작용 모드를 설계하여 발달 단계(3–6세, 6–8세, 8세 이상)에 따라 질문의 복잡도와 학습 초점을 조정한다.

Figure 1. Child interaction process

실험 결과

연구 질문

• RQ1 LLM 기반 시스템이 서사 일관성과 교육적 일치를 유지하면서 어린이가 공동 창작 스토리를 만들 수 있도록 어떻게 지원할 수 있는가?
• RQ2 어린이-AI 공동 창작 스토리텔링이 어린이의 스토리 핵심 가치 이해도, 일반화 능력 및 학습 전이 능력 향상에 어느 정도 기여하는가?
• RQ3 다중모달 상호작용(음성, 그림, 텍스트)이 AI 지원 스토리텔링에서 어린이의 참여도와 서사 발달에 어떤 영향을 미치는가?
• RQ4 LLM 환상 문제를 최소화하고 어린이-AI 스토리텔링 시스템에서 교육적 정확성을 확보하기 위해 효과적인 설계 전략는 무엇인가?

주요 결과

• Storypark는 상호작용 후 평가를 통해 어린이의 스토리 핵심 아이디어 이해도, 일반화 능력 및 서사 개념 전이 능력 향상에 있어 뚜렷한 학습 성과 향상을 보였다.
• 어린이들은 높은 참여도를 보이며 시스템을 다시 사용하고 싶다는 강한 의욕을 드러내어 긍정적인 사용자 경험과 공동 창작 파트너로서의 인식 가치를 확인했다.
• 그림 기능 통합으로 어린이의 서사 표현력이 향상되었으며, 이해도 및 창의적 출력을 지원하는 시각적 단서 기능을 제공했다.
• LLM 환상 문제(예: 거북이 껍질에서 허브 젤리를 만드는 등 비현실적인 스토리 이어짐 생성)가 있었음에도 불구하고, 가치 기반 학습 맥락에서는 교육 목표에 심각한 영향을 주지 않았다.
• 시스템의 적응형 질문 기반 구조화된 피드백 프레임워크는 어린이의 기여를 효과적으로 이끌어내며 서사 발전을 지원했고, 과도하게 부담스럽거나 방향을 잃게 하는 일 없이 작동했다.
• 20명의 어린이 참가자에 대한 사용자 연구를 통해 시스템의 사용성과 다양한 발달 단계에서 다수준 서사 기술 지원 능력이 확인되었다.

Figure 2. User Interface of StoryPark