[论文解读] AI Chatbots as Multi-Role Pedagogical Agents: Transforming Engagement in CS Education

Chen Cao, Zijian Ding+2 more|arXiv (Cornell University)|Aug 8, 2023

Online Learning and Analytics被引用 6

一句话总结

本研究在计算机科学教育中引入了一种多角色AI聊天机器人系统，通过GPT-3为学生分配不同的教学角色——导师、同伴、职业顾问和情感支持者，以提升参与度与学习效果。结果表明，大语言模型生成的回复在准确性、流畅性、同理心和相关性方面表现优异，尤其在高阶认知问题上更为突出，展现出个性化、可扩展学习支持的强大潜力。

ABSTRACT

This study investigates the use of Artificial Intelligence (AI)-powered, multi-role chatbots as a means to enhance learning experiences and foster engagement in computer science education. Leveraging a design-based research approach, we develop, implement, and evaluate a novel learning environment enriched with four distinct chatbot roles: Instructor Bot, Peer Bot, Career Advising Bot, and Emotional Supporter Bot. These roles, designed around the tenets of Self-Determination Theory, cater to the three innate psychological needs of learners - competence, autonomy, and relatedness. Additionally, the system embraces an inquiry-based learning paradigm, encouraging students to ask questions, seek solutions, and explore their curiosities. We test this system in a higher education context over a period of one month with 200 participating students, comparing outcomes with conditions involving a human tutor and a single chatbot. Our research utilizes a mixed-methods approach, encompassing quantitative measures such as chat log sequence analysis, and qualitative methods including surveys and focus group interviews. By integrating cutting-edge Natural Language Processing techniques such as topic modelling and sentiment analysis, we offer an in-depth understanding of the system's impact on learner engagement, motivation, and inquiry-based learning. This study, through its rigorous design and innovative approach, provides significant insights into the potential of AI-empowered, multi-role chatbots in reshaping the landscape of computer science education and fostering an engaging, supportive, and motivating learning environment.

研究动机与目标

• 通过AI驱动的干预措施，解决计算机科学教育中参与度低和师生比例高的问题。
• 克服因内容抽象和缺乏个性化反馈而导致的探究式学习障碍。
• 设计并评估一种符合自我决定理论的多角色聊天机器人系统，以满足学生对能力感、自主性和归属感的需求。
• 优化聊天机器人角色分配与互动质量，以增强学生在计算机科学课程中的学习动机、理解力与持续参与度。
• 为教育工作者、AI开发者和政策制定者提供关于高等教育中负责任地整合AI的可操作见解。

提出的方法

• 采用设计型研究（DBR）方法，在真实计算机科学课程环境中进行迭代原型设计、部署、评估与优化。
• 构建全栈系统，包含四个专业化的聊天机器人：导师机器人（学术指导）、同伴机器人（协作学习）、职业咨询机器人（职业相关性）、情感支持机器人（情感韧性）。
• 使用聊天机器人管理器根据问题类型与复杂度进行路由，确保最优角色分配。
• 应用自然语言处理技术，包括主题建模、情感分析与序列分析，分析交互日志与调查数据。
• 实施ABC实验设计，涵盖200名研究生，分为三种条件：人类导师、单一聊天机器人、多角色聊天机器人。
• 开发五维评估指标（准确性、流畅性、同理心、参与度、相关性），通过专家筛选、真实答案核对与自动化分析评估大语言模型生成的回复质量。

Figure 1: System architecture design of 4 distinct bots.

实验结果

研究问题

• RQ1 多角色聊天机器人的使用如何影响学生提问的数量与质量？
• RQ2 多角色聊天机器人如何影响学生的学习体验、参与度与学习动机？
• RQ3 学生如何感知聊天机器人的个体角色与整体协作角色？
• RQ4 聊天机器人角色专业化对不同认知层次问题的回答质量有何影响？
• RQ5 情感倾向与互动模式如何与学生参与度及情绪状态相关联？

主要发现

• 大语言模型（LLM）生成的回复表现出高准确度与流畅性，且在学生问题的认知层次越高时，表现越佳。
• 聊天机器人展现出强烈的同理心与参与度，尤其在回应复杂、高阶思维问题时，经研究者编码与情感分析验证。
• 语义相似性与关键词共现分析表明，回复与原始问题保持高度相关且连贯。
• 多角色聊天机器人系统成功满足了多样化的学生需求，聊天机器人管理器有效将问题路由至最合适的代理。
• 学生报告学习动机增强，尤其通过情感支持机器人与职业咨询机器人获得的感知支持，有助于维持持续参与。
• 五维评估指标有效捕捉了回复质量的细微特征，实现了对大语言模型在教育场景中表现的可靠评估。

Figure 2: Site map of DS Mind Palace gamification learning system.