[论文解读] Dropout Prediction over Weeks in MOOCs by Learning Representations of Clicks and Videos

Byungsoo Jeon, Namyong Park|arXiv (Cornell University)|Feb 5, 2020

Online Learning and Analytics参考文献 17被引用 8

一句话总结

本文提出了一种用于MOOC的dropout预测模型，通过无监督预训练学习点击流数据与视频内容的联合表征。通过建模点击n-gram与视频之间的相关性，该方法实现了78.4%的AUC，显著优于仅使用点击数据的基线模型，其中点击n-gram的预训练带来了显著收益，而视频嵌入则提供了增量改进。

ABSTRACT

This paper addresses a key challenge in MOOC dropout prediction, namely to build meaningful representations from clickstream data. While a variety of feature extraction techniques have been explored extensively for such purposes, to our knowledge, no prior works have explored modeling of educational content (e.g. video) and their correlation with the learner's behavior (e.g. clickstream) in this context. We bridge this gap by devising a method to learn representation for videos and the correlation between videos and clicks. The results indicate that modeling videos and their correlation with clicks bring statistically significant improvements in predicting dropout.

研究动机与目标

• 通过捕捉学习者点击流行为与教育视频内容之间的相关性，提升MOOC中的辍学预测性能。
• 解决手工设计特征与端到端模型忽略点击流数据中重要时间模式与内容特定模式的局限性。
• 开发一种无监督表征学习框架，联合建模点击序列与视频内容，以提升辍学预测的泛化能力。
• 探究是否可通过点击流数据预训练视频嵌入以提升下游预测性能。
• 提供一种与平台无关、可解释且具备时间感知能力的学习者行为与内容特征表征。

提出的方法

• 提出一种双编码器架构，通过无监督预训练目标学习点击n-gram与视频的表征。
• 使用基于GRU的模型将点击n-gram序列编码为固定长度向量，并通过掩码预测周围点击n-gram的方式进行预训练。
• 采用对比学习目标，通过最大化上下文窗口之间的匹配度来学习点击n-gram表征。
• 通过训练分类器从点击n-gram序列中预测视频标签来预训练视频嵌入，随后通过最终层的argmax选择最优视频表征。
• 将预训练的点击n-gram与视频嵌入结合，利用GRU和最终分类层构建统一的辍学预测模型。
• 在两个预训练阶段均采用交叉熵损失：一个用于点击n-gram重建，另一个用于视频标签预测。

实验结果

研究问题

• RQ1 建模学习者点击流行为与视频内容之间的相关性是否能提升MOOC中的辍学预测性能？
• RQ2 对点击n-gram表征进行无监督预训练是否能捕捉有意义的时间模式并提升预测性能？
• RQ3 能否仅从点击流数据中有效学习视频嵌入，且其是否能提升辍学预测性能？
• RQ4 与仅使用点击数据的模型相比，引入视频表征在AUC提升方面表现如何？
• RQ5 当与预训练的点击n-gram嵌入结合时，视频嵌入带来的性能增益是否具有鲁棒性？

主要发现

• 预训练点击n-gram嵌入使AUC从0.740显著提升至0.757（p < 0.05），证明了学习到的时间模式具有价值。
• 在预训练点击n-gram模型中加入视频嵌入后，AUC提升至0.784，表明视频内容相关性可增强预测性能。
• 当点击和视频嵌入均进行预训练时，AUC为0.783，未见进一步提升，表明在当前目标下视频预训练未带来额外收益。
• 视频预训练未带来性能提升，表明当前的标签预测目标下，点击流数据可能过于嘈杂或信息不足，难以学习到表达性强的视频表征。
• 当结合预训练点击n-gram与非预训练视频嵌入时，模型达到SOTA的AUC 0.784，优于所有基线模型。
• 结果证实，建模学习者行为与内容特征之间的交互作用，比单独建模行为或内容更有效。