[论文解读] A framework for predicting, interpreting, and improving Learning Outcomes

Chintan Donda, Sayan Dasgupta+3 more|arXiv (Cornell University)|Oct 6, 2020

Intelligent Tutoring Systems and Adaptive Learning参考文献 28被引用 4

一句话总结

本文提出了一种可扩展的Embibe Score Quotient（ESQ）模型，该模型利用认知、行为和应试特征预测学生考试成绩，结合基于Shapley值的个性化特征归因与预测区间，实现可解释、可操作的引导。该模型在超过1亿名学习者的互动数据中，实现了4.58%的中位数绝对误差和0.93的预测分数与实际分数之间的相关性。

ABSTRACT

It has long been recognized that academic success is a result of both cognitive and non-cognitive dimensions acting together. Consequently, any intelligent learning platform designed to improve learning outcomes (LOs) must provide actionable inputs to the learner in these dimensions. However, operationalizing such inputs in a production setting that is scalable is not trivial. We develop an Embibe Score Quotient model (ESQ) to predict test scores based on observed academic, behavioral and test-taking features of a student. ESQ can be used to predict the future scoring potential of a student as well as offer personalized learning nudges, both critical to improving LOs. Multiple machine learning models are evaluated for the prediction task. In order to provide meaningful feedback to the learner, individualized Shapley feature attributions for each feature are computed. Prediction intervals are obtained by applying non-parametric quantile regression, in an attempt to quantify the uncertainty in the predictions. We apply the above modelling strategy on a dataset consisting of more than a hundred million learner interactions on the Embibe learning platform. We observe that the Median Absolute Error between the observed and predicted scores is 4.58% across several user segments, and the correlation between predicted and observed responses is 0.93. Game-like what-if scenarios are played out to see the changes in LOs, on counterfactual examples. We briefly discuss how a rational agent can then apply an optimal policy to affect the learning outcomes by treating the above model like an Oracle.

研究动机与目标

• 开发一个可扩展、可投入生产的框架，用于预测和改善在线教育平台中的学习成果（LOs）。
• 将认知、行为和应试特征整合到统一的预测模型中，以支持可操作的反馈。
• 通过非参数分位数回归量化预测中的不确定性，并利用Shapley值提供可解释的特征归因。
• 通过模拟反事实情景并针对期望的学习成果改进进行优化，实现个性化学习引导。
• 通过历史数据分析和未来的A/B测试，验证反馈对学习者行为的影响。

提出的方法

• 采用多模型架构，结合贝叶斯知识追踪（BKT）与DeepFM，对1,242个知识点的学生掌握程度进行建模。
• 使用Embibe Score Quotient（ESQ）模型，基于聚合的学术、行为和应试特征预测未来考试成绩。
• 应用非参数分位数回归生成预测区间，以量化分数预测中的不确定性。
• 使用TreeExplainer（对RNN使用DeepExplainer）计算个性化的Shapley值，以归因于特定特征的分数贡献。
• 将引导策略建模为优化问题，通过模拟特征扰动，识别对学习者行为最有效的改变。
• 通过定向消息或游戏化“如果……会怎样”情景，将反馈集成到平台中，引导学习者实现更优结果。

实验结果

研究问题

• RQ1 基于细粒度的学习者互动数据，统一模型在多大程度上能准确预测未来考试成绩？
• RQ2 Shapley值在多大程度上能提供可操作的、个性化的学生预测分数解释？
• RQ3 预测区间是否能有效量化真实教育环境中学习成果预测的不确定性？
• RQ4 模拟的行为引导如何影响预测的学习成果？它们能否用于指导最优学习策略？
• RQ5 基于模型可解释性的个性化反馈是否能带来学习者行为的可测量改善？

主要发现

• ESQ模型在不同用户群体中，预测分数与实际分数之间的中位数绝对误差为4.58%。
• 预测分数与实际分数之间的相关性为0.93，表明具有出色的预测性能。
• AQ特征（可能与作答质量相关）贡献了约60.98%的预测分数，凸显其主导作用。
• Shapley值分析显示，特定特征如aq_16对分数有正向贡献（+1.57分），而其他特征如bq_20（测试会话次数）则降低预测分数（-0.73分），从而支持精准反馈。
• 历史数据显示，随着考试分数提高，诸如无效作答和超时错误等不良行为呈下降趋势，表明反馈可能影响学习行为。
• RNN模型实现了最佳预测性能，但残差分析揭示其存在非平滑性，促使进一步研究架构与可解释性之间的权衡。