[论文解读] EduChat: A Large-Scale Language Model-based Chatbot System for Intelligent Education

Yuhao Dan, Zhikai Lei+14 more|arXiv (Cornell University)|Aug 5, 2023

AI in Service Interactions被引用 34

一句话总结

EduChat 是一个基于开源大语言模型的教育聊天机器人，结合领域特定的预训练、对教育焦点指令的微调，以及基于检索的开放式问答，以改进开放性问题、作文评估、苏格拉底式教学和情感支持。

ABSTRACT

EduChat (https://www.educhat.top/) is a large-scale language model (LLM)-based chatbot system in the education domain. Its goal is to support personalized, fair, and compassionate intelligent education, serving teachers, students, and parents. Guided by theories from psychology and education, it further strengthens educational functions such as open question answering, essay assessment, Socratic teaching, and emotional support based on the existing basic LLMs. Particularly, we learn domain-specific knowledge by pre-training on the educational corpus and stimulate various skills with tool use by fine-tuning on designed system prompts and instructions. Currently, EduChat is available online as an open-source project, with its code, data, and model parameters available on platforms (e.g., GitHub https://github.com/icalk-nlp/EduChat, Hugging Face https://huggingface.co/ecnu-icalk ). We also prepare a demonstration of its capabilities online (https://vimeo.com/851004454). This initiative aims to promote research and applications of LLMs for intelligent education.

研究动机与目标

• 探索心理学和教育理论如何使通用LLMs适应教育领域。
• 在大规模教育语料上进行预训练，以学习领域知识。
• 用任务特定指令进行微调，以激活教育特定功能。
• 加入检索以保持知识的时效性并降低幻觉。
• 将 EduChat 作为开源系统发布，以加速教育聚焦的 AI 研究。

提出的方法

• 在教育书籍和问题，以及诗歌和心理学文本上进行预训练，以编码领域知识。
• 在 500k 高质量定制指令上进行微调，以激活教育功能。
• 使用检索增强的开放式问答以获取最新信息并自我检查相关性。
• 设计多样化的系统提示以控制工具使用并启用如苏格拉底式教学和情感支持的能力。
• 翻译并整理用于情感支持对话（ESConv-zh）的数据并开发细粒度的作文评估数据集。
• 使用 sentence-transformers 进行人工数据清洗和语义去重以确保数据质量。

Figure 1: Distribution of educational data.

实验结果

研究问题

• RQ1 EduChat 如何使 LLMs 与教育能力（如作文评估和苏格拉底式教学）对齐？
• RQ2 基于检索增强的问答在教育情境中是否能提高准确性并降低幻觉？
• RQ3 基于心理学的情感支持是否能通过微调后的LLMs在教育中有效提供？
• RQ4 与同等规模的通用LLMs相比，专门的教育微调对性能有何影响？

主要发现

• EduChat（带检索）在跨学科的 C-Eval Chinese 评估中超过同等规模基线。
• 带检索的 EduChat 的平均分高于不带检索的 EduChat（在报告的指标中为 49.3 对 40.7）。
• 检索增强的问答显著提升多学科基准上的表现并降低捏造风险。
• 通过针对性的教育数据微调，细粒度的作文评估和苏格拉底式教学能力得到提升。
• 基于心理学的情感支持使 EduChat 能在教育情境中充当富有同情心的咨询师。

Figure 2: The overall framework of EduChat .