[论文解读] Generalized Knowledge Tracing: A Constrained Framework for Learner Modeling

Philip I. Pavlik, Luke G. Eglington+1 more|arXiv (Cornell University)|May 2, 2020

Intelligent Tutoring Systems and Adaptive Learning参考文献 25被引用 6

一句话总结

本文提出了广义知识追踪（GKT），一种符号化框架，通过受限逻辑回归表示法形式化并统一了多种学习者建模方法。该文通过在6个数据集上拟合12种模型（包括变体和新设计），展示了GKT的灵活性，结果表明并无单一模型在所有情况下均表现最优，因此主张采用上下文感知、可适应的学习者模型，而非固定参数的替代方案。

ABSTRACT

Adaptive learning technology solutions often use a learner model to trace learning and make pedagogical decisions. The present research introduces a formalized methodology for specifying learner models, Generalized Knowledge Tracing, GKT, that consolidates many extant learner modeling methods. The strength of GKT is the specification of a symbolic notation system for alternative logistic regression models that is powerful enough to specify many extant models in the literature, as well as many new models. To demonstrate the generality of GKT, it was used to fit 12 models, some variants of well-known models and some newly devised, to 6 learning technology datasets. The results indicated that no single learner model was best in all cases, further justifying a broad approach that considers multiple learner model features and the learning context. To strengthen the applicability to learning technology, the models presented here avoid student-level fixed parameters, since these are difficult to acquire in practice. We argue that to be maximally applicable a learner model needs to adapt to student differences, rather than needing to be pre-parameterized with the level of each student's ability.

研究动机与目标

• 将现有的学习者建模方法形式化并统一为一个单一、连贯的框架，以支持多种建模方法。
• 解决在真实学习技术应用中获取学生层面固定参数的实际限制。
• 开发一种灵活的建模框架，能够适应个体学生差异，而无需预先设定能力水平参数。
• 在多个数据集和模型变体上评估该框架的通用性与有效性。

提出的方法

• 提出一种符号化表示系统，用于逻辑回归模型，可表达广泛存在的现有模型及新型学习者模型。
• 定义一种受限框架，通过系统化参数化模型组件，确保可解释性与可扩展性。
• 将该框架应用于指定12种不同模型，包括已知模型的变体和新设计，在6个学习技术数据集上进行实验。
• 采用统一的训练与评估流程，比较模型性能，同时避免依赖学生特定的固定参数。
• 使用结构化参数化的逻辑回归建模知识随时间的获取过程，支持对学习情境的动态适应。
• 通过排除在实际中难以获取的学生层面固定参数，聚焦于模型的灵活性与泛化能力。

实验结果

研究问题

• RQ1 单一符号化框架是否能够表达广泛存在的现有及新型学习者模型？
• RQ2 不同学习者模型在多样化学习技术数据集上的表现如何变化？
• RQ3 该框架中缺乏学生层面固定参数是否会影响模型的有效性或泛化能力？
• RQ4 该框架在无需预先估计能力水平的情况下，能在多大程度上支持响应个体学生差异的自适应建模？
• RQ5 是否存在一个在不同学习情境和数据集上均最优的通用学习者模型？

主要发现

• 广义知识追踪（GKT）框架成功地使用符号化逻辑回归表示法，形式化并统一了广泛存在的现有及新型学习者模型。
• 在全部6个数据集上，没有单一学习者模型始终优于其他模型，表明模型性能高度依赖于上下文。
• 该框架的设计（避免使用学生层面的固定参数）增强了其在真实学习技术场景中的实际适用性。
• 结果支持采用综合建模方法，综合考虑多种模型特征与学习情境，而非依赖单一最优模型。
• 该框架支持多种模型的指定与评估，证明了其在不同学习场景中的通用性与适应性。
• 缺乏固定学生参数并未损害模型的有效性，证实自适应、上下文敏感的建模在实践中既可行又更优。