[论文解读] Developing Effective Educational Chatbots with ChatGPT prompts: Insights from Preliminary Tests in a Case Study on Social Media Literacy (with appendix)

Cansu Koyutürk, Mona Yavari+10 more|arXiv (Cornell University)|Jun 18, 2023

AI in Service Interactions被引用 7

一句话总结

本文提出一种基于提示的策略，利用ChatGPT开发社交媒体素养教育聊天机器人，展示了其在支持多样化用户档案的个性化、多轮互动方面的潜力。初步测试表明，该方法在教育策略和对话风格方面展现出良好的适应性，但在响应一致性与角色维持方面仍存在挑战。

ABSTRACT

Educational chatbots come with a promise of interactive and personalized learning experiences, yet their development has been limited by the restricted free interaction capabilities of available platforms and the difficulty of encoding knowledge in a suitable format. Recent advances in language learning models with zero-shot learning capabilities, such as ChatGPT, suggest a new possibility for developing educational chatbots using a prompt-based approach. We present a case study with a simple system that enables mixed-turn chatbot interactions and discuss the insights and preliminary guidelines obtained from initial tests. We examine ChatGPT's ability to pursue multiple interconnected learning objectives, adapt the educational activity to users' characteristics, such as culture, age, and level of education, and its ability to use diverse educational strategies and conversational styles. Although the results are encouraging, challenges are posed by the limited history maintained for the conversation and the highly structured form of responses by ChatGPT, as well as their variability, which can lead to an unexpected switch of the chatbot's role from a teacher to a therapist. We provide some initial guidelines to address these issues and to facilitate the development of effective educational chatbots.

研究动机与目标

• 探究利用ChatGPT的零样本学习能力，在无需复杂平台集成的情况下开发教育聊天机器人的可行性。
• 评估ChatGPT在根据用户特征（如年龄、教育水平和文化背景）调整教育内容方面的有效性。
• 评估聊天机器人在管理多轮对话的同时保持教学重点的能力。
• 识别在响应一致性、角色稳定性（如教师与治疗师之间的切换）以及对话历史限制方面的挑战。

提出的方法

• 设计了一种基于提示的系统，以实现通过自然语言提示进行多轮互动的聊天机器人交互。
• 将社交媒体素养的教育目标编码为结构化但灵活的提示，以引导ChatGPT的响应。
• 通过在提示模板中加入人口统计和上下文线索，实现用户特定的个性化调整。
• 在提示设计中嵌入多种对话风格和教学策略（例如支架式教学、探究式学习），以满足多样化的学习需求。
• 通过模拟用户交互进行初步测试，以评估响应质量、适应性及多轮对话中的连贯性。
• 从观察到的问题（如响应差异性和非预期的角色转变）中提炼出设计指南。

实验结果

研究问题

• RQ1 基于提示的ChatGPT系统在多轮互动中有效支持社交媒体素养多个相互关联的学习目标的程度如何？
• RQ2 聊天机器人在多大程度上能够根据用户的年龄、教育水平和文化背景调整其教育内容和对话风格？
• RQ3 ChatGPT在多轮对话中保持一致教学角色方面存在哪些局限性？
• RQ4 响应差异性和有限的对话历史如何影响教育聊天机器人的可靠性与有效性？

主要发现

• ChatGPT在针对不同用户档案（包括年龄、教育水平和文化背景差异）提供个性化、自适应响应方面展现出强大潜力。
• 该系统成功在一个交互流程中整合并应用了多种教育策略，如支架式教学和探究式学习。
• 观察到响应存在差异性，部分输出偏离了预期的教学目标，或导致聊天机器人角色从教师转变为治疗师。
• 有限的对话历史导致长时间交互中出现上下文丢失，随时间推移降低了对话的连贯性与个性化程度。
• 基于提示的方法无需复杂的后端开发或知识图谱编码，即可实现快速原型设计与迭代。
• 初步制定了设计指南，以减轻教育聊天机器人设计中角色不一致与响应不稳定的潜在风险。