[论文解读] Knowledge Tracing Machines: Factorization Machines for Knowledge Tracing

Jill-Jênn Vie, Hisashi Kashima|arXiv (Cornell University)|Nov 8, 2018

Intelligent Tutoring Systems and Adaptive Learning参考文献 14被引用 15

一句话总结

本文提出知识追踪机器（KTMs），一种基于因子分解机的框架，通过整合多种辅助信息（如多个知识组件和尝试次数）来泛化并改进现有知识追踪模型。KTMs 在稀疏教育数据集上实现了最先进性能，优于传统模型和深度学习基线模型（如DKT），同时实现了可解释性高维学生建模，并具备高效的训练能力。

ABSTRACT

Knowledge tracing is a sequence prediction problem where the goal is to predict the outcomes of students over questions as they are interacting with a learning platform. By tracking the evolution of the knowledge of some student, one can optimize instruction. Existing methods are either based on temporal latent variable models, or factor analysis with temporal features. We here show that factorization machines (FMs), a model for regression or classification, encompasses several existing models in the educational literature as special cases, notably additive factor model, performance factor model, and multidimensional item response theory. We show, using several real datasets of tens of thousands of users and items, that FMs can estimate student knowledge accurately and fast even when student data is sparsely observed, and handle side information such as multiple knowledge components and number of attempts at item or skill level. Our approach allows to fit student models of higher dimension than existing models, and provides a testbed to try new combinations of features in order to improve existing models.

研究动机与目标

• 开发一个统一且灵活的知识追踪框架，泛化现有模型，并有效处理稀疏的序列化学生交互数据。
• 将丰富的辅助信息（如每道题目的多个知识组件和尝试次数）整合到学生建模中，以提升预测性能。
• 实现高维学生与项目嵌入学习，即使在观测数据有限的情况下仍保持高效与准确。
• 提供一个实验新特征组合以增强知识追踪模型的测试平台。
• 证明辅助信息的引入对性能的提升，优于单纯增加潜在维度。

提出的方法

• KTMs 使用因子分解机（FMs）将学生表现建模为用户和项目嵌入的对数双线性函数，并引入特征之间的成对交互。
• 该模型整合了如知识组件（通过 q-矩阵）、项目或技能层级的尝试次数以及项目偏置等辅助信息。
• 预测通过逻辑斯蒂函数完成：logit(p_ij) = w_0 + sum_i w_i x_i + sum_{i<j} w_ij x_i x_j，其中 x_i 为包含用户、项目及辅助信息特征的特征向量。
• 模型通过随机梯度下降在稀疏且按时间顺序排列的（学生，项目，结果）三元组上进行端到端训练。
• KTMs 广义化了多个现有模型：加法因子模型、表现因子模型和多维项目反应理论（IRT）作为特例。
• 该框架支持更高维的嵌入（最高 d=20），并实现可解释的、对数双线性的学生与项目知识状态表示。

实验结果

研究问题

• RQ1 基于因子分解机的统一框架能否有效泛化并改进现有知识追踪模型？
• RQ2 在稀疏教育数据上，整合如多个知识组件和尝试次数等辅助信息是否能显著提升预测准确性？
• RQ3 KTMs 在真实世界数据集上的性能与深度学习模型（如DKT）和传统因子分析模型相比如何？
• RQ4 与丰富辅助信息相比，增加嵌入维度在多大程度上能提升性能？
• RQ5 KTMs 是否可作为灵活的测试平台，用于实验知识追踪中新的特征组合？

主要发现

• KTMs 在多个真实世界数据集（包括数万名学生和项目）上优于传统模型（如BKT和FAST），并匹配或超越DKT的性能。
• 引入按项目（而不仅按技能）的偏置项，其性能优于仅建模技能层级偏置的模型。
• 辅助信息（如多个知识组件和尝试次数）对预测性能的提升，优于单纯增加模型的潜在维度。
• 即使在数据稀疏的情况下，模型仍能实现高准确率，展现出对未见学生和项目的强大泛化能力。
• KTMs 高效且可扩展，支持训练高维学生模型（最高 d=20），而这是标准模型难以实现的。
• 学习到的嵌入具有可解释性，可用于向学生提供有意义的反馈，从而增强形成性评估。