[论文解读] Developing Accurate Early Warning Systems Via Data Analytics

Emma Howard, Maria Meehan+1 more|arXiv (Cornell University)|Dec 17, 2016

Online Learning and Analytics被引用 4

一句话总结

本研究基于Blackboard VLE的课程数据，开发了一套数据驱动的早期预警系统，用于第一年STEM统计学课程。通过应用细粒度参与度指标与BART建模，系统在第5–6周时即可实现最终成绩预测，平均绝对误差为2.5个百分点，表明此阶段为干预的最佳时机。

ABSTRACT

In this study we develop an early warning system for a large first year STEM undergraduate course and discuss the data analytics decisions at each stage. Numerous studies have provided evidence in favour of adopting early warning systems as a means of identifying at-risk students in online courses. Many of these early warning systems are in practical use and rely on data from students' engagement with Virtual Learning Environments (VLEs), also referred to as Learning Management Systems. Our study examines how to develop an early warning system, and investigates the optimal time in a course to apply such a system. We present findings from a statistics university course which has a large proportion of resources on the VLE Blackboard and weekly continuous assessment. We identify weeks 5-6 of the course as the critical time in the semester to implement an early warning system. Through detailed (fine-grained) variables, mixed mode clustering and our final prediction method of BART (Bayesian Additive Regressive Trees) we are able to predict students' final grade by week 6 based on mean absolute error (MAE) to within 2.5 percentage points. Subsequently, we argue for the inclusion of cluster membership as explanatory variables.

研究动机与目标

• 利用VLE参与度数据，开发一种准确的早期预警系统，以识别处于风险中的STEM学生。
• 确定在学期内实施此类系统的最佳时机。
• 评估BART模型与聚类增强模型在预测最终课程成绩方面的表现。
• 评估聚类成员身份作为解释变量在预测模型中的价值。

提出的方法

• 利用第一年统计学课程期间从Blackboard VLE获取的详细、细粒度的学生参与度数据。
• 应用混合模式聚类，根据参与模式和课程表现对学生进行分组。
• 采用贝叶斯加性回归树（BART）作为预测最终成绩的主要模型。
• 将聚类成员身份作为解释变量，以提升模型的可解释性与性能。
• 通过在学期内不同时间点评估平均绝对误差（MAE）来评估模型性能。
• 基于预测准确性和数据可得性，将第5–6周选定为最佳干预窗口。

实验结果

研究问题

• RQ1 在学期内的哪个时间点实施早期预警系统，能够最有效地识别处于风险中的学生？
• RQ2 到第6周时，能否利用VLE参与度数据准确预测学生的最终成绩？
• RQ3 将聚类成员身份作为预测变量是否能提高早期成绩预测的准确性？
• RQ4 细粒度参与度变量在提升预测性能方面发挥什么作用？

主要发现

• 实施早期预警系统的最佳时机为学期内第5–6周。
• 该模型在第6周时预测最终成绩的平均绝对误差（MAE）为2.5个百分点。
• 将聚类成员身份作为解释变量，显著提升了模型的可解释性与预测性能。
• 细粒度参与度变量对预测准确性的提升具有显著贡献。
• BART在处理学生行为数据中复杂的非线性关系方面优于其他替代模型。
• 该系统在大型第一年STEM课程中具有强大的实际部署潜力。