[论文解读] Examining the relationship between student performance and video interactions

Robert Solli, John M. Aiken+2 more|arXiv (Cornell University)|Jul 5, 2018

Online Learning and Analytics参考文献 13被引用 4

一句话总结

本研究探讨了学生在翻转物理课程中与教学视频的互动行为——通过点击流数据（如暂停、快进、观看时长等）测量——是否能够预测其在复杂实验评估中的表现。利用逻辑回归及其他模型，作者发现视频互动模式与实验表现之间无显著预测关系，表明学生与视频的互动方式可能无法反映其在高阶任务中的成功能力。

ABSTRACT

In this work, we attempted to predict student performance on a suite of laboratory assessments using students' interactions with associated instructional videos. The students' performance is measured by a graded presentation for each of four laboratory presentations in an introductory mechanics course. Each lab assessment was associated with between one and three videos of instructional content. Using video clickstream data, we define summary features (number of pauses, seeks) and contextual information (fraction of time played, in-semester order). These features serve as inputs to a logistic regression (LR) model that aims to predict student performance on the laboratory assessments. Our findings show that LR models are unable to predict student performance. Adding contextual information did not change the model performance. We compare our findings to findings from other studies and explore caveats to the null-result such as representation of the features, the possibility of underfitting, and the complexity of the assessment.

研究动机与目标

• 确定学生视频互动特征是否能够预测翻转式大学物理力学课程中复杂实验评估的表现。
• 评估学期中时间点或学生背景等情境因素是否会影响视频互动数据的预测能力。
• 探讨可能导致视频互动与实验结果之间缺乏预测关系的方法论局限性。
• 评估替代模型（如随机森林、支持向量机）是否在从视频参与度指标预测实验表现方面优于逻辑回归。

提出的方法

• 收集了161名学生在一学期物理课程中于Coursera平台观看78个教学视频的点击流数据。
• 为每个视频互动提取了8个汇总特征（如归一化观看时长、暂停次数、快进次数、播放次数，以及交互时间的z分数），并加入情境特征，如实验顺序和FMCE前测分数。
• 为627个实验-视频配对构建了特征向量，标签表示高分或低分（以中位数成绩为分界）。
• 使用这些特征训练逻辑回归模型，以预测实验表现的高低，同时引入包含情境变量的附加模型。
• 使用Kolmogorov-Smirnov（KS）统计量评估模型性能，并与随机猜测进行比较。
• 测试了替代模型（随机森林、支持向量机），以评估其对特征缩放和模型复杂度的鲁棒性。

实验结果

研究问题

• RQ1 在翻转物理课程中，学生视频互动特征能否预测实验评估的表现？
• RQ2 增加情境信息（如实验顺序、前测分数）是否能提升视频互动特征的预测能力？
• RQ3 零结果是否源于模型欠拟合、特征表示问题，或二元分类方法？
• RQ4 更复杂的模型（如随机森林、支持向量机）是否在从视频参与度预测实验表现方面优于逻辑回归？

主要发现

• 逻辑回归模型在预测学生实验评估表现方面无显著预测能力，KS统计量低于0.125且p > 0.28，表明其表现不优于随机猜测。
• 加入实验顺序和FMCE前测分数等情境特征并未提升模型性能，表明这些变量未增强预测能力。
• 随机森林和SVM模型也未能实现显著分类性能，KS统计量低于0.125，表明模型选择的鲁棒性良好，且缺乏潜在信号。
• 研究未发现视频互动模式（如暂停、快进或观看时长）与复杂、延迟性实验评估成功之间存在相关性。
• 作者得出结论：视频参与度指标可能无法作为复杂、探究式任务学习成果的可靠代理指标。
• 结果表明，教学设计者可能需要重新考虑视频在翻转课堂中的作用，并优先关注课堂互动以预测高阶任务的表现。