[论文解读] Modelling Student Behavior using Granular Large Scale Action Data from a MOOC

Steven Tang, Joshua C. Peterson+1 more|arXiv (Cornell University)|Aug 16, 2016

Online Learning and Analytics参考文献 10被引用 14

一句话总结

本文提出使用n-gram和LSTM模型，基于认证学习者提供的细粒度、顺序性交互数据，预测MOOC中学生的行为。最佳LSTM模型在预测下一项学生行为时达到72.2%的准确率，优于n-gram模型（70.4%）和基于教学大纲的预测（23%），表明成功学习者的的行为模式可为数字教育中的个性化推荐系统提供支持。

ABSTRACT

Digital learning environments generate a precise record of the actions learners take as they interact with learning materials and complete exercises towards comprehension. With this high quantity of sequential data comes the potential to apply time series models to learn about underlying behavioral patterns and trends that characterize successful learning based on the granular record of student actions. There exist several methods for looking at longitudinal, sequential data like those recorded from learning environments. In the field of language modelling, traditional n-gram techniques and modern recurrent neural network (RNN) approaches have been applied to algorithmically find structure in language and predict the next word given the previous words in the sentence or paragraph as input. In this paper, we draw an analogy to this work by treating student sequences of resource views and interactions in a MOOC as the inputs and predicting students' next interaction as outputs. In this study, we train only on students who received a certificate of completion. In doing so, the model could potentially be used for recommendation of sequences eventually leading to success, as opposed to perpetuating unproductive behavior. Given that the MOOC used in our study had over 3,500 unique resources, predicting the exact resource that a student will interact with next might appear to be a difficult classification problem. We find that simply following the syllabus (built-in structure of the course) gives on average 23% accuracy in making this prediction, followed by the n-gram method with 70.4%, and RNN based methods with 72.2%. This research lays the ground work for recommendation in a MOOC and other digital learning environments where high volumes of sequential data exist.

研究动机与目标

• 基于评估之外的细粒度、顺序性动作数据，对MOOC中的学生行为进行建模。
• 识别成功完成MOOC的学生之间的导航模式。
• 开发一种生成模型，基于先前行为预测学生的下一步动作，用于自动化推荐系统。
• 比较n-gram和LSTM模型在大规模MOOC环境中预测学生行为的性能。
• 评估在认证学生上训练的模型是否能泛化到预测非认证学生的行为，揭示行为差异。

提出的方法

• 本研究使用来自单一MOOC的超过1100万条学生行为数据，包括视频观看、测验互动和论坛活动。
• 仅使用获得课程证书的学生进行训练，以建模成功的学习行为。
• n-gram模型基于前n项动作预测下一项动作，n最大为10，采用基于频率的概率估计。
• 基于LSTM的循环神经网络处理顺序动作历史，以预测下一项动作，学习行为中的长期依赖关系。
• 模型通过在认证学生上进行10折交叉验证进行评估，并在保留的非认证学生数据集上进行测试，要求至少30项动作。
• 超参数调优包括学习率、LSTM层数和隐藏单元数，最佳模型达到72.2%的准确率。

实验结果

研究问题

• RQ1 基于先前行为，n-gram和LSTM等序列模型能否有效预测MOOC中学生的下一步行为？
• RQ2 在大规模教育环境中，LSTM模型在预测学生行为方面的性能与n-gram模型相比如何？
• RQ3 与随机或非结构化行为相比，成功学生在导航上遵循结构化模式的程度如何？
• RQ4 在认证学生上训练的模型能否泛化到预测非认证学生的行为？这揭示了哪些行为差异？
• RQ5 较长的上下文窗口（如10-gram）在学生行为建模中的预测准确率提升贡献有多大？

主要发现

• 最佳LSTM模型在预测下一项学生行为时，交叉验证准确率达到72.23%，显著优于n-gram模型的70.35%准确率。
• 10-gram n-gram模型占所有预测的62%以上，表明成功学习者对更长序列模式有强烈依赖。
• 基于教学大纲的预测仅达到23%的准确率，表明成功导航偏离了严格的线性课程结构。
• LSTM模型在非认证学生（至少30项动作）上的准确率为67.09%，而在认证学生上的准确率为70.93%，表明成功与非成功学习者的行为模式存在显著差异。
• 模型分歧分析显示，LSTM与n-gram模型在7,565,862项预测上达成一致，各自错误预测577,683次和367,960次，表明两者具有互补优势。
• 研究发现，随着n-gram长度逐次增加，预测的数据点减少了约6%，表明在某一上下文长度后收益递减。