[论文解读] Assessing the Performance of Online Students -- New Data, New Approaches, Improved Accuracy

Robin Schmucker, Jingbo Wang+2 more|arXiv (Cornell University)|Sep 4, 2021

Online Learning and Analytics被引用 4

一句话总结

本文提出了一种新的机器学习方法，用于在线教育中的学生表现建模，该方法利用丰富的日志数据、课程先修结构以及针对不同学习阶段的专用模型。通过引入新型特征（如响应模式、提示使用情况和平滑正确率），该方法在四个大规模数据集上实现了最先进的AUC值0.808，优于传统的逻辑回归和深度学习方法。

ABSTRACT

We consider the problem of assessing the changing performance levels of individual students as they go through online courses. This student performance (SP) modeling problem is a critical step for building adaptive online teaching systems. Specifically, we conduct a study of how to utilize various types and large amounts of student log data to train accurate machine learning (ML) models that predict the performance of future students. This study is the first to use four very large sets of student data made available recently from four distinct intelligent tutoring systems. Our results include a new ML approach that defines a new state of the art for logistic regression based SP modeling, improving over earlier methods in several ways: First, we achieve improved accuracy by introducing new features that can be easily computed from conventional question-response logs (e.g., the pattern in the student 's most recent answers). Second, we take advantage of features of the student history that go beyond question-response pairs (e.g., features such as which video segments the student watched, or skipped) as well as information about prerequisite structure in the curriculum. Third, we train multiple specialized SP models for different aspects of the curriculum (e.g., specializing in early versus later segments of the student history), then combine these specialized models to create a group prediction of the SP. Taken together, these innovations yield an average AUC score across these four datasets of 0.808 compared to the previous best logistic regression approach score of 0.767, and also outperforming state-of-the-art deep neural net approaches. Importantly, we observe consistent improvements from each of our three methodological innovations, in each dataset, suggesting that our methods are of general utility and likely to produce improvements for other online tutoring systems as well.

研究动机与目标

• 利用大规模日志数据，提升在线学习环境中学生表现建模的准确性。
• 探究除基本的对/错响应之外的多样化学生交互特征如何增强预测建模。
• 评估课程先修结构以及针对不同学习阶段的专用模型对预测准确率的影响。
• 对比逻辑回归与深度学习模型在近期大规模智能导师系统数据集上的表现。
• 建立一个可广泛适用的、适用于多种在线辅导系统的通用学生表现建模框架。

提出的方法

• 该方法从学生日志数据中提取新特征，包括响应模式（近期正确性的n-gram）、提示使用情况（使用次数与耗时）以及平滑后的平均正确率。
• 整合课程背景信息，如知识组件之间的先修与后置关系，以支持模型预测。
• 该方法为学生学习的不同阶段（如课程初期与后期）训练多个专用的逻辑回归模型，并将它们的输出结果进行融合以获得最终预测。
• 对提示使用次数与时间等特征，采用对数缩放函数 φ(x) = log(1 + x) 进行变换，以减少数值量级带来的偏差。
• 使用平滑平均正确率特征 rs = (cs + ηr̄)/(as + η)，其中 η = 5，以稳定早期学生表现的估计结果。
• 研究使用网格搜索对超参数进行调优，训练持续100个周期，评估了逻辑回归与深度学习模型（DKT、SAKT、SAINT、SAINT+）的性能。

实验结果

研究问题

• RQ1 不同类型的学生交互特征（如响应模式、提示使用情况、任务耗时）如何影响表现预测的准确性？
• RQ2 整合课程先修结构在多大程度上能提升学生表现建模的效果？
• RQ3 为学生学习的不同阶段（如初始阶段与复习阶段）训练专用模型，是否能带来整体预测性能的提升？
• RQ4 与现有最先进方法（包括深度学习模型）相比，所提出方法的准确性如何？
• RQ5 所观察到的性能提升是否在多种不同的在线辅导系统和数据集上均具有一致性？

主要发现

• 所提方法在四个大规模且多样的数据集上实现了平均AUC值0.808，显著优于此前最佳的逻辑回归方法（AUC 0.767）。
• 三项核心创新——新特征、课程结构整合与专用模型——在全部四个数据集上均带来了稳定的准确率提升。
• 在AUC指标上，该方法优于当前最先进的深度学习模型（DKT、SAKT、SAINT、SAINT+），证明了结合丰富特征的结构化逻辑回归的有效性。
• 采用η = 5的平滑平均正确率特征被发现可降低早期学生表现估计的方差，提升模型稳定性。
• 响应模式特征使模型能够检测到短期表现趋势（如连续正确或错误的回答），从而增强预测能力。
• 对提示使用特征（使用次数与时间）采用对数缩放处理，提升了模型鲁棒性，减轻了极端行为对模型的影响。