[论文解读] Dropout Prediction over Weeks in MOOCs via Interpretable Multi-Layer Representation Learning

Byungsoo Jeon, Namyong Park+1 more|arXiv (Cornell University)|Feb 5, 2020

Online Learning and Analytics参考文献 18被引用 7

一句话总结

本文提出了一种可解释的、多层表示学习模型，采用改进的分支限界（BB）算法，基于每周点击流数据预测MOOC学习者在未来一周内是否可能退学。通过无监督学习噪声鲁棒的高层次行为动作，避免了人工特征工程，该模型在性能上可与复杂任务特定模型相媲美，同时能够清晰解释与退学相关的关键行为模式。

ABSTRACT

Massive Open Online Courses (MOOCs) have become popular platforms for online learning. While MOOCs enable students to study at their own pace, this flexibility makes it easy for students to drop out of class. In this paper, our goal is to predict if a learner is going to drop out within the next week, given clickstream data for the current week. To this end, we present a multi-layer representation learning solution based on branch and bound (BB) algorithm, which learns from low-level clickstreams in an unsupervised manner, produces interpretable results, and avoids manual feature engineering. In experiments on Coursera data, we show that our model learns a representation that allows a simple model to perform similarly well to more complex, task-specific models, and how the BB algorithm enables interpretable results. In our analysis of the observed limitations, we discuss promising future directions.

研究动机与目标

• 仅使用每周点击流数据，预测MOOC学习者是否会在未来一周内退学。
• 解决从原始、非结构化的点击流数据中提取有意义且抗噪声的行为模式的挑战。
• 通过无监督方式学习表示，消除对主观且耗时的人工特征工程的依赖。
• 生成可解释的结果，揭示哪些行为模式（例如，快进、倒放）最能预测退学。
• 构建一种对点击流长度变化和跨周用户活动模式不规则性具有鲁棒性的框架。

提出的方法

• 应用改进的分支限界（BB）算法，基于统计显著性和t统计量，识别最重要的k个点击流动作（例如，SeekFw、SeekBw、Pause）。
• 将排名前k的动作作为多层感知机（MLP）的输入特征，实现在连续几周内上下文相关的表示学习。
• 将每周的点击流表示为高层次行为动作的序列，保留序列结构的同时减少噪声。
• 以无监督方式训练MLP-LFR模型，学习捕捉周间时间依赖关系的表示。
• 将BB识别出的动作整合到统一表示中，支持使用简单模型进行下游分类。
• 利用假设检验中的t统计量和p值，确保可解释性并减少学习动作中的虚假模式。

实验结果

研究问题

• RQ1 无监督、可解释的表示学习方法是否能仅基于每周点击流数据有效预测MOOC中的退学？
• RQ2 排名靠前的行为动作（例如，快进、倒放）与退学风险的相关性如何？能否在无需人工标注的情况下可靠提取？
• RQ3 基于BB的表示学习方法在退学预测准确率方面，与复杂任务特定模型相比，性能优势或匹配程度如何？
• RQ4 在考虑连续几周的时间上下文时，模型性能如何变化？
• RQ5 将“一周”视为点击流表示的分析单元存在哪些局限性？

主要发现

• 尽管采用无监督训练，基于BB的模型在退学预测性能上可与复杂任务特定模型相媲美。
• 排名靠前的动作（如SeekFw、SeekBw和Pause）表现出极强的统计显著性（p值 < 5.4e-15），并持续与退学风险相关联。
• MLP-LFR组件未能显著提升性能，可能是因为序列信息丢失或时间单位选择不当（每周聚合）。
• 模型识别出如'SeekFw SeekFw SeekFw SeekFw'和'SeekBw SeekBw SeekBw SeekBw'等序列具有高度预测性，t统计量超过1.6。
• 通过清晰且基于统计的可解释行为模式（如过度快进或倒放行为）验证了模型的可解释性。
• 局限性包括对非连续周的处理能力差，且未能建模个体学习进度，表明行为表示应基于课程内容进度而非基于时间的周。