[论文解读] Leveraging Large Language Model and Story-Based Gamification in Intelligent Tutoring System to Scaffold Introductory Programming Courses: A Design-Based Research Study

Chen Cao|arXiv (Cornell University)|Feb 25, 2023

Online Learning and Analytics被引用 7

一句话总结

本研究设计并评估了一款基于GPT-3、以故事驱动的沉浸式智能辅导系统（ITS），旨在支持中国国际学生的编程入门学习，并增强其归属感。该系统通过叙事驱动的AI代理提供个性化反馈，提升学习参与度并减轻焦虑情绪。试点研究结果表明，系统具备出色的可用性、可接受性，且用户对支持性与互动性的感知积极。

ABSTRACT

Programming skills are rapidly becoming essential for many educational paths and career opportunities. Yet, for many international students, the traditional approach to teaching introductory programming courses can be a significant challenge due to the complexities of the language, the lack of prior programming knowledge, and the language and cultural barriers. This study explores how large language models and gamification can scaffold coding learning and increase Chinese students sense of belonging in introductory programming courses. In this project, a gamification intelligent tutoring system was developed to adapt to Chinese international students learning needs and provides scaffolding to support their success in introductory computer programming courses.

研究动机与目标

• 应对英国编程入门课程中中国国际学生因语言、文化及先备知识差距导致的归属感低和焦虑感高的挑战。
• 探究AI增强的游戏化设计如何通过提供个性化、自适应反馈，促进情感与认知参与，从而支持学习过程。
• 设计一款整合叙事元素与基于角色的AI代理的智能辅导系统，以模拟支持性、互动性的学习环境。
• 在真实教育场景中评估该系统在提升学习成效与归属感方面的可用性、可接受性与有效性。

提出的方法

• 开发了一款基于故事的ITS，包含四位由GPT-3驱动的AI代理：夏洛克（辅导）、沃森（批判性思维）、雷斯垂德探长（职业参与）、赫德森太太（情感支持）。
• 实现了一个代码解释模块，通过提示工程调用GPT-3 API，结合代码片段与自然语言提示，生成定制化反馈。
• 基于CS1课程目标与授课教师反思，使用提示编程模拟了360轮师生互动。
• 开展试点用户研究，面向利益相关者（学生、教师、研究人员）评估系统的可用性、可接受性及感知有效性。
• 应用语义相似度、主题建模与情感分析，评估AI生成回复的质量与情感基调。
• 设计用户界面以支持实时代码提交、反馈获取及聊天记录日志化，便于长期分析。

实验结果

研究问题

• RQ1 基于GPT-3增强的、以故事驱动的游戏化ITS，如何影响中国国际学生在编程入门课程中的归属感？
• RQ2 GPT-3在多大程度上能提供个性化、自适应反馈，以支持布卢姆分类法中不同认知层次的学习？
• RQ3 用户如何评价叙事驱动型AI代理在ITS中提供的可用性、可接受性及情感支持？
• RQ4 提示质量在多大程度上决定GPT-3在教育编程场景中响应的准确性与深度？
• RQ5 游戏化AI代理能否有效促进探究式学习与计算思维在编程入门教学中的发展？

主要发现

• 初步结果显示，基于GPT-3增强的游戏化设计显著降低了学生的焦虑感，并通过个性化、叙事驱动的互动增强了其归属感。
• AI代理在生成反馈和维持深入对话方面表现优异，尤其在认知层次较低和中等水平（记忆、理解、分析）的清晰问题上表现突出。
• 用户报告了高度的满意度与对支持的感知，许多人对AI代理提供的学术与情感支持表示惊讶与感激。
• 试点研究中，系统在可用性与可接受性方面获得高度评价，参与者普遍认为叙事元素（尤其是夏洛克故事线）具有吸引力且具备激励作用。
• 情感分析显示AI生成回复的情感基调始终积极，表明其在情感支持传递方面表现有效。
• GPT-3响应质量高度依赖于输入问题的清晰度与结构，结构良好、表述清晰的提示能产生更准确、更详尽的解释。