[论文解读] Logistic Knowledge Tracing: A Constrained Framework for Learner Modeling

Philip I. Pavlik, Luke G. Eglington+1 more|arXiv (Cornell University)|May 2, 2020

Intelligent Tutoring Systems and Adaptive Learning参考文献 61被引用 30

一句话总结

本文提出逻辑知识追踪（LKT），一种受约束的框架，用于在自适应学习系统中形式化指定逻辑回归模型的学员建模。通过使用符号表示系统来表达多种模型——包括现有方法的变体和新型配置——LKT 实现了系统性比较和更高的泛化能力，且无需依赖学生特定的固定参数。实证结果表明，在所有数据集上并无单一模型始终优于其他模型。

ABSTRACT

Adaptive learning technology solutions often use a learner model to trace learning and make pedagogical decisions. The present research introduces a formalized methodology for specifying learner models, Logistic Knowledge Tracing (LKT), that consolidates many extant learner modeling methods. The strength of LKT is the specification of a symbolic notation system for alternative logistic regression models that is powerful enough to specify many extant models in the literature and many new models. To demonstrate the generality of LKT, we fit 12 models, some variants of well-known models and some newly devised, to 6 learning technology datasets. The results indicated that no single learner model was best in all cases, further justifying a broad approach that considers multiple learner model features and the learning context. The models presented here avoid student-level fixed parameters to increase generalizability. We also introduce features to stand in for these intercepts. We argue that to be maximally applicable, a learner model needs to adapt to student differences, rather than needing to be pre-parameterized with the level of each student's ability.

研究动机与目标

• 开发一个统一的、形式化的框架，用于指定学员建模中的逻辑回归模型。
• 通过避免使用学生层面的固定参数，转而采用基于特征的截距项，提升模型的泛化能力。
• 促进在多种学习情境下对多种学员模型配置的系统性比较。
• 通过 R 包和 LearnSphere 集成，加速研究进程，实现实时原型设计与模型测试。
• 支持构建更透明、系统化且可扩展的学员模型，以服务于自适应教育技术。

提出的方法

• LKT 使用符号表示系统来表达逻辑回归模型，从而灵活指定特征及其相互作用。
• 该框架支持知识组件（KCs）的固定效应与随机效应，重点采用固定效应以提升可靠性。
• 它支持非线性及复合特征（例如，近期性、先前表现与遗忘项之间的交互作用），这些在标准逻辑回归中难以实现。
• LKT 实现为 R 包，并集成至 LearnSphere 平台，用于与 DataShop 数据集配合使用。
• 系统支持使用稀疏矩阵计算和优化库（如 data.table、LibLineaR）进行模型拟合，以实现高性能。
• 未来扩展包括增强特征组合（如自动生成交互项）以及集成延迟模型，以支持基于效率的练习选择。

实验结果

研究问题

• RQ1 哪些模型特征的组合能在多种学习任务中实现对学员表现的最佳预测？
• RQ2 统一的符号框架是否能提升学员模型的系统性开发与比较？
• RQ3 避免使用学生特定的固定参数是否能提升模型在新学员上的泛化能力？
• RQ4 记忆因素（如近期性、遗忘）与程序性/概念性学习因素相比，在预测表现方面表现如何？
• RQ5 在 LKT 内部进行特征工程在多大程度上能捕捉特定领域学习模式，如类别学习或感知运动任务？

主要发现

• 在六个数据集中并无单一学员模型始终最优，凸显了根据情境选择模型的必要性。
• 包含近期性和遗忘效应的模型在记忆型任务（MHE 和 Cloze）中表现最佳，因为记忆在这些任务中起关键作用。
• 受 R-PFA 启发的 'propdec' 特征（无需显式时间间隔即可追踪近期表现）与使用实际时间间隔的模型表现相当。
• LKT 框架通过稀疏计算高效拟合复杂模型，使原本在基础 R 中不可行的分析如今变得可行。
• 该框架在多种领域（包括程序性、概念性和感知学习任务）中均表现出强劲的实证性能。
• 研究者观察到知识组件之间的迁移可提升中文声调等任务的表现，表明建模知识组件间关系具有重要价值。