[论文解读] Are LLMs Useful in the Poorest Schools? TheTeacher.AI in Sierra Leone

Jun Ho Choi, Oliver Garrod+4 more|arXiv (Cornell University)|Oct 4, 2023

Organizational Management and Leadership被引用 6

一句话总结

本研究评估了TheTeacher.AI，一个专为塞拉利昂资源匮乏学校设计的基于WhatsApp的大型语言模型（LLM）聊天机器人。通过利用GPT-3.5 Turbo并结合本地化教学指导，该系统在低带宽环境下实现了按需支持，涵盖教案设计、课堂管理和学科内容支持，尽管存在基础设施和读写能力限制，仍实现了5%至10%教师的持续使用。

ABSTRACT

Education systems in developing countries have few resources to serve large, poor populations. How might generative AI integrate into classrooms? This paper introduces an AI chatbot designed to assist teachers in Sierra Leone with professional development to improve their instruction. We describe initial findings from early implementation across 122 schools and 193 teachers, and analyze its use with qualitative observations and by analyzing queries. Teachers use the system for lesson planning, classroom management, and subject matter. Usage is sustained over the school year, and a subset of teachers use the system more regularly. We draw conclusions from these findings about how generative AI systems can be integrated into school systems in low income countries.

研究动机与目标

• 评估在资源匮乏的教育环境中部署大型语言模型（LLM）驱动聊天机器人的可行性与影响，特别针对塞拉利昂资金不足的初等学校。
• 解决因缺乏培训、资源和可靠互联网接入而导致的教师专业发展与教学支持关键缺口。
• 设计一种低成本、低带宽的AI解决方案，通过广泛可用的移动技术（WhatsApp）实现，以支持偏远、基础设施薄弱环境中的教师。
• 评估生成式AI在传统支持系统缺失或资源不足的环境中，是否能实质性提升教学质量和教学规划。

提出的方法

• 使用OpenAI的GPT-3.5 Turbo API部署基于WhatsApp的聊天机器人界面，优化以降低数据使用量并适应间歇性网络连接。
• 将教育影响基金和本地教学指南中的特定上下文内容整合到系统提示中，以提升相关性和安全性。
• 通过中间件层（FabData）处理教师查询，在发送至LLM前注入防护机制、最佳实践和本地化教育内容。
• 在122所学校的193名教师中，历时一学年收集并分析了1,000多个教师查询，采用主题和任务分类方法评估使用模式。
• 将查询分类为12个核心主题和12种任务类型，并对10%的数据进行人工验证，以确保分类准确性。
• 使用词云和分布分析可视化学科兴趣和使用趋势，重点关注教案设计和概念澄清等教学需求。

实验结果

研究问题

• RQ1 低成本、基于WhatsApp的LLM聊天机器人能否有效支持塞拉利昂等低收入、低基础设施学校中的教师？
• RQ2 在资源匮乏的课堂中，教师最常向AI聊天机器人请求哪些类型的教育任务？
• RQ3 与传统专业发展模式相比，AI工具如TheTeacher.AI的持续使用在可及性和影响方面有何差异？
• RQ4 在资源匮乏的教育环境中，LLM采用和有效使用的主要障碍是什么？如何加以缓解？
• RQ5 LLM响应中的幻觉或不准确性在教育环境中在多大程度上构成风险？如何通过人工监督降低这些风险？

主要发现

• 48%的教师查询涉及概念澄清，表明对基础学科理解支持存在强烈需求。
• 21%的查询涉及教案设计，表明教师积极利用该工具规划教学，尤其是在语音教学和核心学科方面。
• 约5%至10%的教师群体持续定期使用系统，表明尽管初期采纳存在挑战，仍实现了稳定参与。
• 由于WhatsApp的高效性和低数据使用量，系统在低连接性环境中表现良好，甚至可在2G网络下运行，确保了访问可行性。
• 尽管互联网接入有限，教师仍使用聊天机器人完成复杂任务，如撰写研究提案（6%）和课堂行为管理（3%），表明其具有广泛的教育实用性。
• 人工分类揭示了在‘通用写作支持’与‘专业发展’任务之间区分存在困难，凸显了在教育AI应用中需要更精细的任务分类体系。