[论文解读] Implementing Learning Principles with a Personal AI Tutor: A Case Study

Ambroise Baillifard, Maxime Gabella+2 more|arXiv (Cornell University)|Sep 10, 2023

Online Learning and Analytics被引用 7

一句话总结

本研究通过使用 GPT-3 生成微学习问题并利用神经网络建模个体学生知识水平，借助个人 AI 家教实现了学习科学原则——个性化、检索练习和间隔重复——的应用。使用 AI 家教的学生在考试成绩上显著提高，与对照组相比平均提升高达 15 个百分点，验证了该系统通过自适应、数据驱动的个性化手段提升学习效果的能力。

ABSTRACT

Effective learning strategies based on principles like personalization, retrieval practice, and spaced repetition are often challenging to implement due to practical constraints. Here we explore the integration of AI tutors to complement learning programs in accordance with learning sciences. A semester-long study was conducted at UniDistance Suisse, where an AI tutor app was provided to psychology students taking a neuroscience course (N=51). After automatically generating microlearning questions from existing course materials using GPT-3, the AI tutor developed a dynamic neural-network model of each student's grasp of key concepts. This enabled the implementation of distributed retrieval practice, personalized to each student's individual level and abilities. The results indicate that students who actively engaged with the AI tutor achieved significantly higher grades. Moreover, active engagement led to an average improvement of up to 15 percentile points compared to a parallel course without AI tutor. Additionally, the grasp strongly correlated with the exam grade, thus validating the relevance of neural-network predictions. This research demonstrates the ability of personal AI tutors to model human learning processes and effectively enhance academic performance. By integrating AI tutors into their programs, educators can offer students personalized learning experiences grounded in the principles of learning sciences, thereby addressing the challenges associated with implementing effective learning strategies. These findings contribute to the growing body of knowledge on the transformative potential of AI in education.

研究动机与目标

• 探究基于学习科学原则的 AI 家教是否能提升高等教育中的学业表现。
• 评估在真实学期课程环境中，基于 AI 的个性化、检索练习和间隔重复的有效性。
• 验证神经网络模型基于交互数据准确预测学生动态知识水平的能力。
• 探索在在线远程学习环境中部署 AI 家教的可行性与影响。
• 提供实证证据，证明 AI 家教能够规模化地有效实施基于证据的学习策略。

提出的方法

• 使用 GPT-3 从课程材料中生成聚焦于关键神经科学概念的微学习问题。
• 训练动态神经网络模型，基于学生的作答模式预测其对课程内容的掌握程度演变。
• 通过根据预测的遗忘曲线动态安排问题，实现自适应的检索练习。
• 根据个体学生的表现和预测的知识水平，调整问题的难度和时间安排，实现个性化学习路径。
• 在一整个学期内收集 51 名心理学专业学生的匿名使用数据，以评估参与度和学习成果。
• 通过将预测的掌握分数与实际考试表现进行相关性分析，验证模型预测的准确性。

Figure 1: Examples of questions generated by the AI tutor app. From left to right, we see a definition, a question based on an image, and a multiple-choice question with feedback (see also Appendix A for questions in English). On the right we see the “learnet,” a visual organization of all key conce

实验结果

研究问题

• RQ1 与对照组相比，学生主动使用个人 AI 家教是否导致考试成绩显著提高？
• RQ2 AI 家教的神经网络模型在多大程度上能准确预测学生的知识水平？
• RQ3 通过 AI 家教整合的间隔重复和检索练习在多大程度上影响了学习成果？
• RQ4 学生与 AI 家教的参与度与考试成绩百分位提升之间存在何种关系？
• RQ5 基于机器学习的 AI 家教能否在真实教育环境中有效模拟类人学习过程？

主要发现

• 主动使用 AI 家教的学生在考试成绩上显著高于未使用 AI 家教的平行课程学生。
• 学生与 AI 家教的主动互动带来了考试成绩平均提升高达 15 个百分点。
• 神经网络预测的学生知识掌握程度与实际考试成绩表现出强相关性，验证了其预测准确性。
• AI 家教通过根据个体学习曲线动态安排问题，成功实现了间隔重复和检索练习。
• 学生若停止使用该应用，表现出现下滑，表明持续互动对获得收益至关重要。
• 本研究证明，AI 家教能够在真实教育环境中有效实施核心学习科学原则。

Figure 2: Left-hand side : Distribution of students ( $N=51$ ) categorized as active or inactive according to the minimum number of answers provided on the app. Right-hand side : Average grades for active and inactive students, as distinguished by a minimum number of answers given on the app. The ef