[论文解读] Improved Performances and Motivation in Intelligent Tutoring Systems: Combining Machine Learning and Learner Choice

Benjamin Clément, Hélène Sauzeon+2 more|arXiv (Cornell University)|Jan 16, 2024

Online Learning and Analytics被引用 2

一句话总结

本研究提出ZPDES，一种结合机器学习（多臂老虎机算法）与好奇心驱动学习的AI自适应学习系统，用于优化智能导师系统中的练习排序。研究结果表明，仅当与自适应个性化相结合时，通过游戏化实现的学习者选择才能显著提升内在动机和学习成效，而与固定课程相比则无此效果。

ABSTRACT

Large class sizes challenge personalized learning in schools, prompting the use of educational technologies such as intelligent tutoring systems. To address this, we present an AI-driven personalization system, called ZPDES, based on the Learning Progress Hypothesis - modeling curiosity-driven learning - and multi-armed bandit techniques. It sequences exercises that maximize learning progress for each student. While previous studies demonstrated its efficacy in enhancing learning compared to hand-made curricula, its impact on student motivation remained unexplored. Furthermore, ZPDES previously lacked features allowing student choice, a limitation in agency that conflicts with its foundation on models of curiosity-driven learning. This study investigates how integrating choice, as a gamification element unrelated to exercise difficulty, affects both learning outcomes and motivation. We conducted an extensive field study (265 7-8 years old children, RCT design), comparing ZPDES with and without choice against a hand-designed curriculum. Results show that ZPDES improves both learning performance and the learning experience. Moreover adding choice to ZPDES enhances intrinsic motivation and further strengthens its learning benefits. In contrast, incorporating choice into a fixed, linear curriculum negatively impacts learning outcomes. These findings highlight that the intrinsic motivation elicited by choice (gamification) is beneficial only when paired with an adaptive personalized learning system. This insight is critical as gamified features become increasingly prevalent in educational technologies.

研究动机与目标

• 探究在智能导师系统中，将学习者选择作为游戏化功能，如何影响学习表现与动机。
• 评估选择带来的益处是否依赖于底层学习系统的自适应性，特别是与固定线性课程相比时。
• 评估基于学习进展假说与多臂老虎机算法的ZPDES对学生学习成效与内在动机的影响。
• 确定在非自适应、人工设计的课程中应用学习者选择，是否会增强或削弱学习效果。
• 为教育AI系统中内在动机（通过选择实现）与自适应个性化之间的协同效应提供实证证据。

提出的方法

• ZPDES使用多臂老虎机算法，基于学习进展假说，动态选择能最大化预期学习进展的练习。
• 该系统建模学习者知识水平与好奇心驱动的进展路径，选择处于最近发展区内的任务，以维持参与度与学习效率。
• 学习者选择作为与任务难度无关的游戏化功能实现，允许学生从一组可用练习中进行选择。
• 一项随机对照试验（RCT）对265名儿童（7–8岁）进行了四组比较：人工设计的线性课程、无选择的ZPDES、有选择的ZPDES，以及对照组。
• 学习表现通过金钱操作与计算技能的前测与后测进行测量。
• 动机通过《动机类型问卷》（TM）与《学校概况问卷》（SP）进行评估，重点关注内在动机与自主性。

实验结果

研究问题

• RQ1 与无选择的ZPDES相比，将学习者选择整合到自适应AI驱动的ITS（ZPDES）中，是否能同时提升学习表现与内在动机？
• RQ2 在固定的人工设计课程中增加学习者选择，对学习成果与动机有何影响？
• RQ3 选择对动机与学习的积极影响是否依赖于学习系统中自适应个性化的存在？
• RQ4 ZPDES在学习成效与学生参与度方面是否优于人工设计的课程？
• RQ5 学习者选择在多大程度上调节自适应学习与内在动机之间的关系？

主要发现

• 与人工设计的课程相比，ZPDES在金钱操作与计算技能方面的学习表现显著提升，效应量表明成效显著。
• 在ZPDES中增加学习者选择，使内在动机显著提高（基于《动机类型问卷》测量，p < .05）。
• ZPDES与学习者选择的结合带来了最高的学习成效，表明自适应个性化与选择之间存在协同效应。
• 相反，在固定线性课程中增加选择对学习成果产生了负面影响，表明缺乏自适应性的选择可能干扰学习。
• 各组在人口统计学特征或基线特征（如性别、技术经验、自我选择）方面无显著差异，支持随机对照试验设计的有效性。
• 本研究证实，游戏化功能（如选择）在已支持个性化与好奇心驱动学习的系统中最为有效。