[论文解读] Generative AI for Enhancing Active Learning in Education: A Comparative Study of GPT-3.5 and GPT-4 in Crafting Customized Test Questions

Hamdireza Rouzegar, Masoud Makrehchi|arXiv (Cornell University)|Jun 20, 2024

Intelligent Tutoring Systems and Adaptive Learning被引用 4

一句话总结

本研究探讨了GPT-3.5和GPT-4如何通过主动学习框架为九年级学生生成定制化、自适应的数学测试题。通过将GPT-4定位为“教师”，GPT-3.5定位为“学生”，在迭代反馈循环中，模型模拟了实时学习适应过程，GPT-4展现出更优的题目质量，而GPT-3.5在接收指导后对复杂问题的处理能力也有所提升，凸显了大型语言模型在增强个性化教育方面的潜力。

ABSTRACT

This study investigates how LLMs, specifically GPT-3.5 and GPT-4, can develop tailored questions for Grade 9 math, aligning with active learning principles. By utilizing an iterative method, these models adjust questions based on difficulty and content, responding to feedback from a simulated 'student' model. A novel aspect of the research involved using GPT-4 as a 'teacher' to create complex questions, with GPT-3.5 as the 'student' responding to these challenges. This setup mirrors active learning, promoting deeper engagement. The findings demonstrate GPT-4's superior ability to generate precise, challenging questions and notable improvements in GPT-3.5's ability to handle more complex problems after receiving instruction from GPT-4. These results underscore the potential of LLMs to mimic and enhance active learning scenarios, offering a promising path for AI in customized education. This research contributes to understanding how AI can support personalized learning experiences, highlighting the need for further exploration in various educational contexts

研究动机与目标

• 评估GPT-3.5和GPT-4在生成与课程内容一致、个性化测试题方面的有效性，适用于九年级数学。
• 通过将GPT-4设为“教师”、GPT-3.5设为“学生”，模拟主动学习环境，以评估迭代式学习与适应能力。
• 研究大型语言模型如何响应题目难度提升与反馈，模拟人类学习的渐进过程。
• 评估大型语言模型通过动态、自适应题目生成，支持个性化教育的潜力。
• 为大型语言模型在教育技术中的整合提供洞见，推动可扩展、以学生为中心的学习体验。

提出的方法

• 实施了迭代式题目生成与反馈循环，其中GPT-3.5根据GPT-4生成的问题作答，并依据回答质量与题目难度进行调整。
• 使用GPT-4作为“教师”，为九年级学生在“数与运算”和“金融数学”领域生成难度逐步提升的问题，目标针对特定认知水平。
• GPT-3.5作为“学生”回应这些问题，其答案根据正确性与深度进行评估，以指导后续题目优化。
• 通过根据模型表现调整题目难度与内容，模拟形成性评估，实现主动学习过程。
• 由模拟的“学生”模型提供反馈，使系统能够迭代提升题目质量与学习目标的一致性。
• 评估重点在于不同难度级别下生成题目的准确性、复杂性与适应性。

实验结果

研究问题

• RQ1 GPT-4能否为九年级数学生成高质量、与课程内容一致且逐步提升难度的测试题？
• RQ2 在接收到GPT-4生成的问题与反馈后，GPT-3.5在解答复杂问题方面的表现如何提升？
• RQ3 GPT-4（作为教师）与GPT-3.5（作为学生）之间的互动在多大程度上能模拟AI系统中的主动学习动态？
• RQ4 大型语言模型如何根据反馈与感知难度调整其题目生成策略，体现主动学习原则？
• RQ5 在生成个性化教育内容方面，GPT-3.5与GPT-4的比较优势与局限性是什么？

主要发现

• GPT-4在九年级数学各主题中均展现出卓越能力，能够生成精确、具挑战性且与课程内容一致的测试题。
• 在接收到GPT-4的针对性指导与反馈后，GPT-3.5在处理复杂问题方面表现出显著进步，表明其具备潜在的自适应学习能力。
• GPT-4与GPT-3.5之间的迭代反馈循环有效模拟了主动学习，题目难度与内容根据回答质量动态调整。
• 系统表现与不确定性采样原则一致，即GPT-3.5在较难题目上的改进最为明显，表明其积极参与认知挑战。
• GPT-4作为“教师”的角色显著提升了题目的质量与深度，在复杂性与准确性方面均优于GPT-3.5。
• 结果表明，可通过结构化设计使大型语言模型模拟人类教学与学习动态，为个性化教育提供可扩展的范式。