[论文解读] Interpretable Cognitive Diagnosis with Neural Network for Intelligent Educational Systems.

Fei Wang, Qi Liu+2 more|arXiv (Cornell University)|Aug 23, 2019

Topic Modeling参考文献 20被引用 6

一句话总结

本文提出 NeuralCD，一种基于神经网络的认知诊断框架，通过可学习的因子向量建模复杂的学生-练习交互关系，同时通过单调性约束提升可解释性。在真实世界数据集上的评估表明，NeuralCD 在诊断准确性和可解释性方面均优于现有方法，且在 NeuralCDM+ 中引入文本增强的练习表征后性能进一步提升。

ABSTRACT

Cognitive diagnosis is a fundamental issue in intelligent education, which aims to discover the proficiency level of students on specific knowledge concepts. Existing approaches usually mine linear interactions of student exercising process by manual-designed function (e.g., logistic function), which is not sufficient for capturing complex relations between students and exercises. In this paper, we propose a general Neural Cognitive Diagnosis (NeuralCD) framework, which incorporates neural networks to learn the complex exercising interactions, for getting both accurate and interpretable diagnosis results. Specifically, we project students and exercises to factor vectors and leverage multi neural layers for modeling their interactions, where the monotonicity assumption is applied to ensure the interpretability of both factors. Furthermore, we propose two implementations of NeuralCD by specializing the required concepts of each exercise, i.e., the NeuralCDM with traditional Q-matrix and the improved NeuralCDM+ exploring the rich text content. Extensive experimental results on real-world datasets show the effectiveness of NeuralCD framework with both accuracy and interpretability.

研究动机与目标

• 解决现有认知诊断方法依赖人工设计函数（如逻辑函数）建模学生-练习交互关系的局限性。
• 在智能教育系统中实现对学生与练习之间复杂非线性关系的建模。
• 通过在学习到的学生和练习因子向量上施加单调性约束，确保诊断结果的可解释性。
• 将练习的丰富文本内容整合到诊断框架中，以超越传统 Q-矩阵的表征学习能力。
• 开发一种可泛化的神经网络框架，在保持高诊断准确性的同时提供人类可理解的解释。

提出的方法

• 使用神经网络层将学生和练习投影到低维因子向量空间，以捕捉潜在的知识掌握程度和练习特征。
• 采用多层神经网络建模学生和练习因子向量之间的非线性交互关系。
• 对因子向量施加单调性约束，确保更高的掌握程度或更高的属性需求始终对应更高的作答概率，从而保持可解释性。
• 实现两种变体：NeuralCDM 使用标准 Q-矩阵定义每个练习的属性需求，NeuralCDM+ 则结合练习的文本特征以丰富属性表征。
• 使用真实世界的学生作答数据端到端训练框架，采用可微损失函数以优化预测准确性。
• 通过反向传播和梯度下降学习神经网络参数，同时通过约束优化保持单调性。

实验结果

研究问题

• RQ1 基于神经网络的框架是否能相比依赖手工函数的传统方法，提升认知诊断的准确性？
• RQ2 神经网络在多大程度上能够建模智能教育系统中学生与练习之间的复杂非线性交互关系？
• RQ3 在学习到的因子向量中施加单调性是否能在保持高诊断性能的同时确保可解释性？
• RQ4 将练习的文本内容整合进来是否能超越传统 Q-矩阵表征，提升认知诊断的质量？
• RQ5 在真实世界教育数据集上，所提出的 NeuralCDM 与 NeuralCDM+ 变体在准确性和可解释性方面表现如何？

主要发现

• NeuralCD 通过捕捉复杂的学生-练习交互关系，在真实世界教育数据集上实现了比传统认知诊断模型更高的诊断准确性。
• 引入单调性约束确保了学习到的因子向量保持可解释性，即更高的掌握程度或更高的属性需求始终对应更高的作答概率。
• NeuralCDM+ 通过利用练习的丰富文本内容，优于 NeuralCDM，表明文本特征能增强表征学习和诊断性能。
• 通过单调性约束，该框架保持了高水平的可解释性，使教育工作者能够理解学生已掌握哪些知识概念。
• 大量实验验证了 NeuralCD 在多个真实世界数据集上的有效性，表现出在准确性和可解释性方面的一致性提升。
• 消融研究表明，若移除单调性约束，结果的可解释性会下降，验证了其在保持模型透明性方面的重要作用。