[论文解读] Enhancing Knowledge Tracing via Adversarial Training

Xiaopeng Guo, Zhijie Huang+4 more|arXiv (Cornell University)|Aug 10, 2021

Adversarial Robustness in Machine Learning参考文献 38被引用 6

一句话总结

本文提出ATKT，一种用于知识追踪的对抗性训练方法，通过联合训练原始样本与从交互嵌入中生成的对抗性样本，提升深度学习模型的泛化能力。通过将一种新颖的知识隐藏状态注意力模块整合到高效的注意力-LSTM主干网络中，ATKT在四个基准数据集上实现了最先进性能，显著提升了AUC分数，尤其在小样本数据集上表现突出。

ABSTRACT

We study the problem of knowledge tracing (KT) where the goal is to trace the students' knowledge mastery over time so as to make predictions on their future performance. Owing to the good representation capacity of deep neural networks (DNNs), recent advances on KT have increasingly concentrated on exploring DNNs to improve the performance of KT. However, we empirically reveal that the DNNs based KT models may run the risk of overfitting, especially on small datasets, leading to limited generalization. In this paper, by leveraging the current advances in adversarial training (AT), we propose an efficient AT based KT method (ATKT) to enhance KT model's generalization and thus push the limit of KT. Specifically, we first construct adversarial perturbations and add them on the original interaction embeddings as adversarial examples. The original and adversarial examples are further used to jointly train the KT model, forcing it is not only to be robust to the adversarial examples, but also to enhance the generalization over the original ones. To better implement AT, we then present an efficient attentive-LSTM model as KT backbone, where the key is a proposed knowledge hidden state attention module that adaptively aggregates information from previous knowledge hidden states while simultaneously highlighting the importance of current knowledge hidden state to make a more accurate prediction. Extensive experiments on four public benchmark datasets demonstrate that our ATKT achieves new state-of-the-art performance. Code is available at: \color{blue} {\url{https://github.com/xiaopengguo/ATKT}}.

研究动机与目标

• 为解决基于深度神经网络的知识追踪模型在小规模数据集上存在的过拟合问题。
• 通过利用对抗性训练使模型对学习者交互数据中的扰动具有鲁棒性，从而提升泛化能力。
• 设计一种更有效的知识追踪主干网络，能够自适应聚合知识隐藏状态，同时突出当前状态的重要性。
• 通过实证验证对抗性训练在多样化真实世界数据集上提升知识追踪性能的有效性。

提出的方法

• 基于快速梯度符号法（FGSM）方法，在原始交互嵌入上生成扰动，构建对抗性样本。
• 在原始干净输入和生成的对抗性样本上联合训练知识追踪模型，以提升鲁棒性和泛化能力。
• 设计一种带有知识隐藏状态（KHS）注意力模块的注意力-LSTM主干网络，自适应聚合过去KHS表示，并突出当前KHS以提升预测性能。
• 以每个学生练习的交互嵌入作为输入，其中每个嵌入编码了学生作答情况及关联的知识技能。
• 使用二元交叉熵损失端到端优化模型，以预测未来作答正确性，且在反向传播中使用对抗性样本。
• 以课程学习方式应用对抗性训练，逐步增加扰动幅度以稳定训练过程。

实验结果

研究问题

• RQ1 对抗性训练是否能有效缓解在小样本数据集上训练的知识追踪模型的过拟合问题？
• RQ2 所提出的知识隐藏状态注意力模块如何改善学生知识状态随时间的表征？
• RQ3 在原始样本与对抗性样本上联合训练是否能带来更好的泛化能力及在未见数据上的性能提升？
• RQ4 ATKT在多个基准数据集上的AUC表现与当前最先进知识追踪模型相比如何？
• RQ5 预测的知识掌握水平在多大程度上反映了真实的学生成长轨迹？

主要发现

• ATKT在四个公开知识追踪基准数据集上达到最先进性能，相较于基线模型，AUC平均提升分别为：Statics2011上0.0023，ASSISTments2009上0.0063，ASSISTments2015上0.0506，ASSISTments2017上0.0002。
• 消融实验表明，KHS注意力模块显著提升模型性能，在Statics2011上AUC提升0.0023，在ASSISTments2015上提升0.0506。
• 对抗性训练有效缓解了过拟合，尤其在小样本数据集（如Statics2011）上，验证损失曲线与训练损失的偏离程度明显降低。
• 可视化结果表明，模型能够捕捉知识技能之间的依赖关系，未练习技能的掌握水平会基于相关技能进行更新。
• 模型最终预测的掌握水平与学生实际表现高度一致，可准确识别学习者的强项与弱项，支持个性化学习。
• 所提出的ATKT方法泛化能力优于现有SOTA模型，表现为在全部四个数据集上均保持一致的性能提升，尤其在更具挑战性的ASSISTments2015数据集上表现显著。