[论文解读] Large language model-powered chatbots for internationalizing student support in higher education

Achraf Hsain, Hamza El Housni|arXiv (Cornell University)|Mar 16, 2024

AI in Service Interactions被引用 4

一句话总结

本研究设计并评估了一款基于 GPT-3.5 和 GPT-4 Turbo 的聊天机器人，用于高等教育学生支持，利用 Python、LangChain 和 Chroma Vector Store 实现实时、准确且上下文感知的响应。该聊天机器人在用户偏好、响应质量和错误率方面显著优于传统方法，展现出在高等教育国际化和数字化转型方面强大的潜力。

ABSTRACT

This research explores the integration of chatbot technology powered by GPT-3.5 and GPT-4 Turbo into higher education to enhance internationalization and leverage digital transformation. It delves into the design, implementation, and application of Large Language Models (LLMs) for improving student engagement, information access, and support. Utilizing technologies like Python 3, GPT API, LangChain, and Chroma Vector Store, the research emphasizes creating a high-quality, timely, and relevant transcript dataset for chatbot testing. Findings indicate the chatbot's efficacy in providing comprehensive responses, its preference over traditional methods by users, and a low error rate. Highlighting the chatbot's real-time engagement, memory capabilities, and critical data access, the study demonstrates its potential to elevate accessibility, efficiency, and satisfaction. Concluding, the research suggests the chatbot significantly aids higher education internationalization, proposing further investigation into digital technology's role in educational enhancement and strategy development.

研究动机与目标

• 为应对国际化高等教育机构日益增长的可扩展、多语言学生支持需求。
• 通过部署人工智能驱动的聊天机器人，减少对传统、耗时的支持渠道的依赖。
• 通过实时、上下文感知且准确的信息检索，提升学生参与度和满意度。
• 评估大型语言模型驱动的聊天机器人在低错误率下处理多样化学生咨询的有效性。
• 通过将先进的大型语言模型技术整合到学生服务中，支持机构的数字化转型。

提出的方法

• 通过 OpenAI API 使用 GPT-3.5 和 GPT-4 Turbo 开发聊天机器人，实现自然语言理解与响应生成。
• 使用 LangChain 编排检索增强生成（RAG）工作流，提升响应的相关性。
• 构建 Chroma Vector Store 以索引和检索高质量、机构特定的课程记录，确保响应的上下文准确性。
• 构建一个经过筛选、及时且相关的课程记录数据集，用于训练和测试聊天机器人的信息检索能力。
• 集成记忆和上下文保持功能，支持多轮、连贯的对话。
• 使用 Python 3 部署系统，实现实时交互和动态响应生成。

实验结果

研究问题

• RQ1 大型语言模型驱动的聊天机器人在高等教育中提供准确且全面响应方面有多高效？
• RQ2 与传统学生支持方式相比，该聊天机器人在多大程度上提升了用户满意度？
• RQ3 该聊天机器人在处理学术环境中多样化的真实学生查询时的错误率是多少？
• RQ4 检索增强生成（RAG）的集成如何提升响应质量和相关性？
• RQ5 此类聊天机器人在多方面如何支持机构的国际化和数字化转型工作？

主要发现

• 聊天机器人在回应学生咨询时表现出高度有效性，能够提供全面且上下文相关的回答。
• 用户更偏好该聊天机器人而非传统支持方式，表明用户体验和满意度得到提升。
• 该系统实现了较低的错误率，证实其在处理复杂和多样化查询时的可靠性。
• 实时互动和记忆功能支持了持续、连贯且个性化的互动体验。
• Chroma Vector Store 与 RAG 架构的集成显著提升了信息检索的准确性。
• 该聊天机器人在提升高等教育学生支持服务的可及性和效率方面表现有效。