[论文解读] HGKT: Introducing Hierarchical Exercise Graph for Knowledge Tracing

Hanshuang Tong, Zhen Wang+4 more|arXiv (Cornell University)|Jun 13, 2020

Advanced Graph Neural Networks参考文献 47被引用 13

一句话总结

HGKT 提出了一种分层练习图（HEG）来建模练习之间的潜在依赖关系，通过整合问题模式和注意力机制，提升知识追踪的预测准确性和可解释性。该方法在富含文本的大型数据集上表现优于现有方法，显著提升了预测准确率与可解释性。

ABSTRACT

Knowledge tracing (KT) which aims at predicting learner's knowledge mastery plays an important role in the computer-aided educational system. In recent years, many deep learning models have been applied to tackle the KT task, which have shown promising results. However, limitations still exist. Most existing methods simplify the exercising records as knowledge sequences, which fail to explore rich information that existed in exercises. Besides, the existing diagnosis results of knowledge tracing are not convincing enough since they neglect prior relations between exercises. To solve the above problems, we propose a hierarchical graph knowledge tracing model called HGKT to explore the latent hierarchical relations between exercises. Specifically, we introduce the concept of problem schema to construct a hierarchical exercise graph that could model the exercise learning dependencies. Moreover, we employ two attention mechanisms to highlight the important historical states of learners. In the testing stage, we present a K&S diagnosis matrix that could trace the transition of mastery of knowledge and problem schema, which can be more easily applied to different applications. Extensive experiments show the effectiveness and interpretability of our proposed models.

研究动机与目标

• 通过建模练习之间的分层关系，解决知识追踪中练习表征损失的问题。
• 通过捕捉练习之间的直接与间接支持关系，提升诊断的可解释性。
• 通过问题模式和注意力机制，提升知识追踪的性能与可解释性。
• 构建并应用 K&S 诊断矩阵，实现对知识与问题模式掌握状态的时序追踪。
• 构建并评估一个包含丰富练习文本的大规模知识追踪数据集。

提出的方法

• 利用问题模式构建分层练习图（HEG），以建模练习之间的直接与间接支持关系。
• 引入分层图卷积网络（HGCN）对 HEG 中的节点表征进行编码，捕捉多层次依赖关系。
• 采用两种注意力机制：序列注意力用于突出显示相关的历史状态，图注意力用于聚焦 HEG 中的重要节点。
• 设计 K&S 诊断矩阵，联合追踪知识与问题模式掌握状态的时序演变，实现可解释的诊断。
• 端到端训练 HGKT 模型，结合序列注意力与图注意力，以预测未来表现。
• 利用包含练习文本的大规模数据集，验证模型的有效性与泛化能力。

实验结果

研究问题

• RQ1 练习之间的分层关系在多大程度上能提升知识追踪的性能？
• RQ2 问题模式与注意力机制在多大程度上能增强模型的可解释性与准确率？
• RQ3 K&S 诊断矩阵是否能提供比传统知识追踪方法更具可操作性的洞察？
• RQ4 序列注意力中的不同窗口大小如何影响模型性能？
• RQ5 在知识追踪中引入练习文本与分层结构是否能带来更好的泛化能力？

主要发现

• HGKT 在知识追踪的准确率与可解释性指标上均优于现有方法，包括 DKT、GKT 与 EKT。
• K&S 诊断矩阵通过将知识掌握与特定问题模式关联，实现了更可靠且更具可操作性的学习者诊断。
• HGKT-sche 与 HGKT-seq 的性能优于 HGKT-noa，证实了两种注意力机制的有效性。
• 序列注意力中窗口大小为 20 时性能最优，表明最近约 20 个练习最能反映当前学习状态。
• 案例研究显示，HGKT 通过 HEG 结构解释学习者错误，错误与知识退化之间的相关性更强。
• 所提出的框架在自适应题目推荐与个性化学习报告等实际应用场景中表现出良好有效性。