[论文解读] Dynamic Knowledge embedding and tracing

Liangbei Xu, Mark A. Davenport|arXiv (Cornell University)|May 18, 2020

Intelligent Tutoring Systems and Adaptive Learning参考文献 24被引用 7

一句话总结

本文提出 DynEmb，一种新颖的知识追踪框架，结合矩阵分解进行问题嵌入与循环神经网络（RNN）以动态追踪学生知识，无需手动标注概念/技能标签。该方法在真实世界数据集上实现了最先进性能，AUC 最高提升 5.43% 且对嵌入维度具有鲁棒性，同时有效利用了预训练。

ABSTRACT

The goal of knowledge tracing is to track the state of a student's knowledge as it evolves over time. This plays a fundamental role in understanding the learning process and is a key task in the development of an intelligent tutoring system. In this paper we propose a novel approach to knowledge tracing that combines techniques from matrix factorization with recent progress in recurrent neural networks (RNNs) to effectively track the state of a student's knowledge. The proposed \emph{DynEmb} framework enables the tracking of student knowledge even without the concept/skill tag information that other knowledge tracing models require while simultaneously achieving superior performance. We provide experimental evaluations demonstrating that DynEmb achieves improved performance compared to baselines and illustrating the robustness and effectiveness of the proposed framework. We also evaluate our approach using several real-world datasets showing that the proposed model outperforms the previous state-of-the-art. These results suggest that combining embedding models with sequential models such as RNNs is a promising new direction for knowledge tracing.

研究动机与目标

• 开发一种知识追踪框架，以在不依赖手动标注的概念/技能标签的情况下，追踪学生随时间演变的熟练程度。
• 通过将潜在问题嵌入与 RNN 的序列建模相结合，提升学生答题预测的性能。
• 构建一种灵活且鲁棒的框架，可在有可用时整合辅助信息（如技能标签），并支持多种序列建模技术。
• 解决动态知识演化问题，其中学生的学习受交互影响，而不仅依赖于观察结果。
• 证明将矩阵分解与 RNN 结合是知识追踪领域的一个有前景方向。

提出的方法

• 该框架使用基于矩阵分解的静态嵌入网络，从学生-答题交互中学习问题的固定潜在表征。
• 采用基于 RNN 的动态组件，从答题序列中建模每个学生随时间演变的知识状态。
• 问题嵌入通过学生-问题答题矩阵的低秩矩阵分解初始化，以促进稀疏性并实现与技能标签的语义对齐。
• 采用两阶段训练策略：先通过矩阵分解预训练问题嵌入，再对完整的基于 RNN 的学生动态模型进行端到端微调。
• 使用二元交叉熵损失进行响应预测训练，并引入 L2 正则化以防止过拟合。
• 该框架支持在可用时整合额外特征，如技能标签、问题文本或交互历史。

实验结果

研究问题

• RQ1 知识追踪模型是否能在无需为问题手动标注概念/技能标签的情况下实现更优性能？
• RQ2 将矩阵分解与 RNN 结合对学生知识追踪的鲁棒性与准确性有何影响？
• RQ3 嵌入维度对动态知识追踪框架性能有何影响？
• RQ4 与端到端训练相比，预训练问题嵌入是否能提升泛化能力与训练稳定性？
• RQ5 所学习的问题嵌入在多大程度上能与人工定义的技能结构对齐，从而增强可解释性？

主要发现

• DynEmb 在 AUC 性能上实现显著提升，在所有评估数据集上相比最佳基线最高提升 5.43%。
• 该模型对嵌入维度变化表现出高度鲁棒性，在广泛设置下保持稳定性能。
• 预训练问题嵌入可防止过拟合，并相比端到端训练（易出现过拟合）带来更好的泛化能力。
• 可视化显示，所学习的问题嵌入在技能身份上呈现清晰聚类，表明尽管无直接监督，其仍与人工标注的技能具有有效的语义对齐。
• 当未提供概念/技能标签时，该框架仍保持强劲性能，降低了对人工标注的依赖。
• 该模型具有灵活性与可扩展性，可在有可用时整合额外特征（如技能标签或问题文本）。