[论文解读] GritNet: Student Performance Prediction with Deep Learning

Byung‐Hak Kim, Ethan Vizitei+1 more|arXiv (Cornell University)|Apr 19, 2018

Online Learning and Analytics参考文献 7被引用 87

一句话总结

GritNet 将学生表现预测视为序列事件预测，并使用带嵌入的双向长短期记忆网络（BLSTM）和 GMP 层，从原始带时间戳的事件中预测未来的毕业可能性，在早期几周内显著高于逻辑回归基线。

ABSTRACT

Student performance prediction - where a machine forecasts the future performance of students as they interact with online coursework - is a challenging problem. Reliable early-stage predictions of a student's future performance could be critical to facilitate timely educational interventions during a course. However, very few prior studies have explored this problem from a deep learning perspective. In this paper, we recast the student performance prediction problem as a sequential event prediction problem and propose a new deep learning based algorithm, termed GritNet, which builds upon the bidirectional long short term memory (BLSTM). Our results, from real Udacity students' graduation predictions, show that the GritNet not only consistently outperforms the standard logistic-regression based method, but that improvements are substantially pronounced in the first few weeks when accurate predictions are most challenging.

研究动机与目标

• 推动对学生毕业的准确、及早预测，以便在在线课程中实现及时干预。
• 将学生表现预测重新表述为序列化事件预测问题，并在不进行大量特征工程的情况下应用深度学习。
• 证明 GritNet 在毕业预测方面优于逻辑回归基线，尤其是在课程的前几周。
• 在真实的 Udacity Nanodegree 数据上评估 GritNet，以评估其早期预测能力以及对不平衡数据的鲁棒性。

提出的方法

• 通过独热编码将带时间戳的学生行为编码为固定长度输入，并对事件间时间进行离散化。
• 使用可学习的嵌入矩阵对事件进行嵌入，以产生密集表示。
• 用双向 LSTM 层对序列进行建模，以捕捉时间上下文。
• 在密集输出之前应用全局最大池化（GMP）层，以聚焦序列中的判别性部分。
• 使用负对数似然（二元交叉熵）进行训练，并使用 dropout 进行正则化。
• 与使用 bag-of-words 特征的逻辑回归基线进行比较，并执行 5 折交叉验证。

实验结果

研究问题

• RQ1 GritNet 是否能从部分学生事件历史中更准确地预测最终毕业，与逻辑回归基线相比？
• RQ2 GMP 层是否在数据不平衡和事件序列长度可变的情况下提升预测？
• RQ3 GritNet 在相对于基线的预测中，能在多早的周数提供更优的毕业预测？
• RQ4 GritNet 在具有不同课程设置和毕业率的 Udacity Nanodegree 数据集上表现如何？

主要发现

• GritNet 在 ND-A 与 ND-B 数据集的各周中，预测准确性均高于逻辑回归基线。
• 在早期周（ND-A 第1周；ND-B 第3周），GritNet 在 AUC 上提供超过 5.0 个百分点的绝对提升。
• 在 ND-B 上，基线需要八周数据才能达到 GritNet 用三周数据即可达到的同等性能。
• GMP 有助于缓解数据不平衡，并提升相较于没有 GMP 的 vanilla BLSTM 的预测能力。
• GritNet 展现出强大的早期预测能力，使干预的反馈回路更快。