[论文解读] DAS3H: Modeling Student Learning and Forgetting for Optimally Scheduling Distributed Practice of Skills

Benoît Choffin, Fabrice Popineau+2 more|arXiv (Cornell University)|May 14, 2019

Intelligent Tutoring Systems and Adaptive Learning参考文献 49被引用 26

一句话总结

该论文提出DAS3H，一种新颖的学生建模框架，通过联合追踪多个技能的学习与遗忘动态，以优化自适应间隔重复调度。通过使用带有时窗特征的加法因子模型，整合特定技能的记忆衰减与时间分布的练习模式，DAS3H在三个真实教育数据集上的预测精度显著优于当前最先进模型。

ABSTRACT

Spaced repetition is among the most studied learning strategies in the cognitive science literature. It consists in temporally distributing exposure to an information so as to improve long-term memorization. Providing students with an adaptive and personalized distributed practice schedule would benefit more than just a generic scheduler. However, the applicability of such adaptive schedulers seems to be limited to pure memorization, e.g. flashcards or foreign language learning. In this article, we first frame the research problem of optimizing an adaptive and personalized spaced repetition scheduler when memorization concerns the application of underlying multiple skills. To this end, we choose to rely on a student model for inferring knowledge state and memory dynamics on any skill or combination of skills. We argue that no knowledge tracing model takes both memory decay and multiple skill tagging into account for predicting student performance. As a consequence, we propose a new student learning and forgetting model suited to our research problem: DAS3H builds on the additive factor models and includes a representation of the temporal distribution of past practice on the skills involved by an item. In particular, DAS3H allows the learning and forgetting curves to differ from one skill to another. Finally, we provide empirical evidence on three real-world educational datasets that DAS3H outperforms other state-of-the-art EDM models. These results suggest that incorporating both item-skill relationships and forgetting effect improves over student models that consider one or the other.

研究动机与目标

• 为解决当前自适应间隔重复系统仅关注单个知识点记忆而忽视技能应用的不足。
• 开发一种能够同时捕捉记忆衰减与多知识组件间分散练习优势的学生模型。
• 通过建模特定技能的学习与遗忘曲线，实现对技能练习的最优个性化调度。
• 通过整合过去练习的时间分布与技能层级记忆动态，扩展现有知识追踪模型。
• 通过实证验证，建模知识点-技能关系与遗忘效应可提升教育数据挖掘中的性能。

提出的方法

• DAS3H通过独立建模每个技能的学习与遗忘曲线，扩展了DASH模型，以支持特定技能的时间动态。
• 采用带有时窗特征（如1/24、1、7、30、+∞天）的加法因子模型，表示每个技能过去练习的时间分布。
• 为每个技能和时间窗估计偏置项，捕捉近期练习与间隔练习对回忆概率的影响。
• 利用知识追踪机器（KTM）框架中的特征嵌入与成对交互，增强表征学习。
• 通过在技能特定记忆状态与时间特征的加权和上应用逻辑函数，预测学生表现。
• 通过聚合各技能状态，支持多技能题目，实现对涉及多个知识组件的复杂问题的表现预测。

实验结果

研究问题

• RQ1 是否一种同时考虑特定技能学习与遗忘动态的学生模型，能提升对学生回答行为的预测性能？
• RQ2 与忽略记忆衰减的模型相比，整合多个技能过去练习的时间分布是否能提升预测精度？
• RQ3 在真实世界教育数据集上，DAS3H在AUC性能方面与当前最先进知识追踪模型相比如何？
• RQ4 对每个题目中的多个技能采用独立记忆曲线建模，在多大程度上能提升长期保持率的预测？
• RQ5 能否通过显式追踪技能层级记忆状态，实现对分散练习更优的自适应调度？

主要发现

• DAS3H在三个真实世界数据集上优于多个当前最先进教育数据挖掘模型，展现出更优的预测性能。
• 引入时窗特征与特定技能的遗忘曲线显著提升了AUC性能，证实了时间记忆建模的重要性。
• 实证结果表明，同时建模知识点-技能关系与记忆衰减，其预测性能优于仅考虑其中一方面的模型。
• 该模型通过捕捉不同技能基于其练习历史以不同速率衰减与增强的机制，实现了性能提升。
• DAS3H的设计使每个技能的知识状态与记忆强度估计更加准确，为未来自适应调度算法提供支持。
• 该模型的加法结构支持补偿性学习效应，但未来工作可探索非补偿性替代方案，以避免对掌握程度的高估。