[论文解读] Delving Deeper into MOOC Student Dropout Prediction

Jacob Whitehill, Kiran Mohan+3 more|arXiv (Cornell University)|Feb 21, 2017

Online Learning and Analytics参考文献 20被引用 50

一句话总结

该论文评估训练/测试 regime 如何影响 MOOC 辍学预测的准确性，比较就地代理标签训练与事后训练，并显示更深的神经网络可以在准确性上优于逻辑回归。

ABSTRACT

In order to obtain reliable accuracy estimates for automatic MOOC dropout predictors, it is important to train and test them in a manner consistent with how they will be used in practice. Yet most prior research on MOOC dropout prediction has measured test accuracy on the same course used for training the classifier, which can lead to overly optimistic accuracy estimates. In order to understand better how accuracy is affected by the training+testing regime, we compared the accuracy of a standard dropout prediction architecture (clickstream features + logistic regression) across 4 different training paradigms. Results suggest that (1) training and testing on the same course ("post-hoc") can overestimate accuracy by several percentage points; (2) dropout classifiers trained on proxy labels based on students' persistence are surprisingly competitive with post-hoc training (87.33% versus 90.20% AUC averaged over 8 weeks of 40 HarvardX MOOCs); and (3) classifier performance does not vary significantly with the academic discipline. Finally, we also research new dropout prediction architectures based on deep, fully-connected, feed-forward neural networks and find that (4) networks with as many as 5 hidden layers can statistically significantly increase test accuracy over that of logistic regression.

研究动机与目标

• 评估在 MOOC 设置中训练/测试 regime 如何影响辍学预测准确性。
• 比较使用点击流特征的事后训练、跨课程训练和就地代理标签训练。
• 评估在许多课程上训练还是在同领域课程上训练是否影响性能。
• 探究比逻辑回归更深的神经网络是否提升辍学预测。
• 为可靠的准确性估计提供指南，以支持实时 MOOC 干预。

提出的方法

• 使用来自 73 个特征的点击流特征（人口统计与活动）来训练预测模型。
• 基线模型：仅人口统计信息和最近交互日启发式。
• 主要分类器：带 L2 正则化的逻辑回归（等同于一个两层神经网络）。
• 评估四种训练范式：在同一课程上的事后训练、在同领域课程上训练、在许多其他课程上训练，以及就地代理标签训练。
• 为每种范式适当归一化训练/测试特征（就地的逐特征 z-score 或百分位转换）。
• 使用 AUC 衡量在从上线到 CERT 合格（T0% 至 T100%）的周内的准确性。
• 尝试使用 Net2Net 将全连接深度神经网络与逻辑回归进行深度/宽度对比。

实验结果

研究问题

• RQ1 在实际中，训练范式的选择如何影响 MOOC 辊学预测的准确性？
• RQ2 就地代理标签训练方法是否在不使用完成课程数据的情况下实现有竞争力的准确性？
• RQ3 比逻辑回归更深的神经网络结构是否对 MOOC 辍学预测提供统计显著的提升？
• RQ4 预测准确性在不同学科领域是否具有鲁棒性？
• RQ5 在实际部署中，评估 MOOC 辍学预测器的可靠做法有哪些？

主要发现

• 在同一课程上的事后训练获得最高的平均 AUC，为 90.20%。
• 就地代理标签训练达到 87.33% 的平均 AUC，接近事后表现并支持实时部署。
• 在许多其他课程上的训练获得 85.56% 的平均 AUC，优于仅在一个其他领域课程上训练的 76.85%。
• 基线人口统计预测效果较差（58.85% AUC），而最近交互日基线表现尚可（82.45% AUC）。
• 更深的神经网络（5 层隐藏层，每层 5 个神经元）达到 97.55% AUC，略优于逻辑回归的 97.20%（p<0.00001）。
• 更深的体系结构需要高效的训练策略（Net2Net），并且可以在大规模 MOOC 数据集上迅速训练。