[论文解读] Mastery Learning in Practice: A (Mostly) Descriptive Analysis of Log Data from the Cognitive Tutor Algebra I Effectiveness Trial

Anita Israni, Adam Sales+1 more|arXiv (Cornell University)|Feb 23, 2018

Intelligent Tutoring Systems and Adaptive Learning参考文献 8被引用 4

一句话总结

本研究分析了一项大规模随机对照试验中认知导师代数I（CTAI）项目所收集的日志数据，以探讨掌握学习在实际教学中的实施情况。尽管CTAI的设计基于掌握学习的进度安排，但学生频繁在未掌握内容的情况下推进学习——通过教师重新分配、问题耗尽或提前退出等方式，尤其在第二年，当项目效果提升时更为明显。教师重新分配与较低的后测成绩相关，表明掌握学习可能是CTAI成功的关键机制，尽管其效果在不同班级间差异显著。

ABSTRACT

Mastery learning, the notion that students learn best if they move on from studying a topic only after having demonstrated mastery, sits at the foundation of the theory of intelligent tutoring. This paper is an exploration of how mastery learning plays out in practice, based on log data from a large randomized effectiveness trial of the Cognitive Tutor Algebra I (CTAI) curriculum. We find that students frequently progressed from CTAI sections they were working on without demonstrating mastery and worked units out of order. Moreover, these behaviors were substantially more common in the second year of the study, in which the CTAI effect was significantly larger. We explore the various ways students departed from the official CTAI curriculum, focusing on heterogeneity between years, states, schools, and students. The paper concludes with an observational study of the effect on post-test scores of teachers reassigning students out of their current sections before they mastered the requisite skills, finding that reassignment appears to lowers posttest scores--a finding that is fairly resilient to confounding from omitted covariates--but that the effect varies substantially between classrooms.

研究动机与目标

• 调查学校和教师在认知导师代数I（CTAI）项目中遵循掌握学习模式的程度。
• 理解偏离标准CTAI课程模式（如重新分配和非顺序单元学习）的模式与动因。
• 在控制潜在混杂因素的前提下，评估教师重新分配对学生后测表现的影响。
• 探讨不同州和学年中，使用模式、课程定制与处理效应之间的关系。
• 在观察到的实施差异背景下，确定掌握学习是否为CTAI有效性的关键机制。

提出的方法

• 使用来自七州CTAI随机对照试验的日志数据，追踪学生与软件的互动情况，包括花费时间、完成的单元和掌握状态。
• 采用多层次建模方法，估计教师重新分配对后测成绩的班级特定影响，同时考虑小样本班级的局限性。
• 运用主要群体分层和观察性分析，考察重新分配、掌握程度与后测结果之间的关系。
• 比较不同年份、州、学校和学生群体在使用模式、掌握率和重新分配频率方面的差异。
• 利用单元顺序和章节完成情况的数据，分析课程定制和顺序偏差，区分标准课程与定制课程。
• 使用描述性统计和推断统计方法，评估不同情境下使用强度、掌握率和重新分配时机的差异。

实验结果

研究问题

• RQ1 学生在未展示掌握能力的情况下，有多大概率推进CTAI单元？其背后的机制是什么？
• RQ2 教师在不同州、学校和班级中重新分配学生的做法有何差异？其动因是什么？
• RQ3 重新分配与学生后测表现之间的关系如何？该效应是否因班级环境而异？
• RQ4 为何CTAI在第二年尽管使用量减少且对标准课程的遵循度降低，其效果却反而提升？
• RQ5 掌握学习是否为CTAI有效性的关键机制？还是灵活的、非基于掌握的学习方式促成了其成功？

主要发现

• 学生经常在未掌握所需技能的情况下推进CTAI单元——第一年为85%，第二年为81%的学生在完成的单元中未达到掌握标准。
• 教师重新分配是允许学生在未掌握情况下推进的常见机制，且在第二年以及德克萨斯州和康涅狄格州更为普遍。
• 与同龄人相比，重新分配与较低的后测成绩相关，尽管该效应在不同班级间存在显著差异，班级层面估计效应的标准差为0.18。
• 尽管第二年使用量减少且对标准课程的遵循度降低，CTAI对后测成绩的影响仍显著大于第一年，表明灵活性可能增强其有效性。
• 更高级的课程单元掌握率较低，表明随着内容复杂度的提高，掌握难度也随之增加。
• 重新分配最常用于推动学生在课程中前进，但也可能因州级考试安排或为调整全班教学节奏而发生。