[论文解读] A Deep Learning Approach to Behavior-Based Learner Modeling

Yuwei Tu, Wei-Yu Chen+1 more|arXiv (Cornell University)|Jan 23, 2020

Online Learning and Analytics参考文献 19被引用 4

一句话总结

本文提出了一种双分支决策网络（TBN），通过结合用户点击流行为特征与基于GloVe的课程内容文本特征，预测短期在线课程中的学习者表现。该模型实现了95.7%的准确率和0.958的AUC，优于所有神经网络与非神经网络基线模型，表明将课程内容语义与用户行为相结合可显著提升预测性能。

ABSTRACT

The increasing popularity of e-learning has created demand for improving online education through techniques such as predictive analytics and content recommendations. In this paper, we study learner outcome predictions, i.e., predictions of how they will perform at the end of a course. We propose a novel Two Branch Decision Network for performance prediction that incorporates two important factors: how learners progress through the course and how the content progresses through the course. We combine clickstream features which log every action the learner takes while learning, and textual features which are generated through pre-trained GloVe word embeddings. To assess the performance of our proposed network, we collect data from a short online course designed for corporate training and evaluate both neural network and non-neural network based algorithms on it. Our proposed algorithm achieves 95.7% accuracy and 0.958 AUC score, which outperforms all other models. The results also indicate the combination of behavior features and text features are more predictive than behavior features only and neural network models are powerful in capturing the joint relationship between user behavior and course content.

研究动机与目标

• 提升在缺乏中间评估的短期在线课程中学习者结果的预测能力。
• 探究结合用户行为数据与课程内容文本特征是否能提升预测性能。
• 开发一种深度学习模型，以捕捉学习者行为与课程内容进展之间的联合关系。
• 在真实世界的企业培训数据集上，评估该模型相较于神经网络与非神经网络基线模型的性能表现。
• 探索利用预测结果指导可操作的课程内容选择与个性化设计的潜力。

提出的方法

• 双分支决策网络（TBN）通过独立分支处理用户点击流特征与课程内容文本特征。
• 点击流特征源自用户对课程内容的交互行为（如点击、停留时间）。
• 文本特征通过预训练的GloVe词嵌入生成，用于表示每页幻灯片与测验的语义内容。
• 通过全连接层将两个分支融合，以建模用户行为与内容语义之间的联合关系。
• 使用Adam优化算法进行模型训练，学习率为0.005，损失函数为交叉熵，训练共2000个周期。
• 采用五折分层交叉验证策略，以确保训练与评估过程中类别分布的平衡。

实验结果

研究问题

• RQ1 将用户行为特征与课程内容文本特征结合，是否能提升短期在线课程中的表现预测准确率？
• RQ2 一种联合建模用户行为与内容语义的深度神经网络模型，相较于传统模型表现如何？
• RQ3 引入语义内容特征是否能带来比仅依赖行为特征的模型更稳定、更准确的预测结果？
• RQ4 该模型能否基于预测性能识别关键课程片段，从而为内容选择提供可操作的洞察？
• RQ5 与ESN或BNN等替代神经网络架构相比，TBN架构在捕捉用户-内容交互方面是否更具优势？

主要发现

• 所提出的双分支决策网络（TBN）实现了95.7%的准确率与0.958的AUC，优于所有其他测试模型，包括梯度提升分类器。
• TBN模型显著优于BNN与ESN模型（分别实现93.2%与94.2%的准确率），证明全连接融合层的优越性。
• 通过GloVe嵌入引入课程内容的文本特征，可提升预测性能，优于仅依赖行为特征的模型，证实内容语义的重要性。
• 梯度提升分类器虽达到最高准确率（97.6%），但AUC较低（0.911），表明其在类别概率估计方面稳健性较差。
• 训练曲线显示，AUC与准确率在200个周期后趋于稳定，表明可采用早停策略防止过拟合。
• 结果表明，神经网络模型在捕捉用户行为与课程内容之间复杂关系方面，比非神经网络模型更具优势与稳定性。