[论文解读] Interpretable Cognitive Diagnosis with Neural Network

Fei Wang, Qi Liu+2 more|arXiv (Cornell University)|Aug 23, 2019

Intelligent Tutoring Systems and Adaptive Learning参考文献 20被引用 3

一句话总结

该论文提出 NeuralCD，一种基于神经网络的认知诊断框架，通过可学习的因子向量和多层神经网络对复杂的学生-练习交互进行建模，并引入单调性约束以增强可解释性。在真实世界数据上的评估表明，NeuralCD 在诊断准确性和可解释性方面优于现有方法，尤其是在通过 NeuralCDM+ 集成丰富文本内容时表现更优。

ABSTRACT

Cognitive diagnosis is a fundamental issue in intelligent education, which aims to discover the proficiency level of students on specific knowledge concepts. Existing approaches usually mine linear interactions of student exercising process by manual-designed function (e.g., logistic function), which is not sufficient for capturing complex relations between students and exercises. In this paper, we propose a general Neural Cognitive Diagnosis (NeuralCD) framework, which incorporates neural networks to learn the complex exercising interactions, for getting both accurate and interpretable diagnosis results. Specifically, we project students and exercises to factor vectors and leverage multi neural layers for modeling their interactions, where the monotonicity assumption is applied to ensure the interpretability of both factors. Furthermore, we propose two implementations of NeuralCD by specializing the required concepts of each exercise, i.e., the NeuralCDM with traditional Q-matrix and the improved NeuralCDM+ exploring the rich text content. Extensive experimental results on real-world datasets show the effectiveness of NeuralCD framework with both accuracy and interpretability.

研究动机与目标

• 为解决现有认知诊断方法依赖人工设计函数（如逻辑函数）建模学生-练习交互的局限性。
• 开发一种通用框架，通过神经网络捕捉学生与练习之间复杂的非线性关系。
• 通过在学习到的学生和练习因子向量上施加单调性约束，确保诊断结果的可解释性。
• 探索将练习中丰富的文本内容整合到认知诊断过程中的方法，以增强表征能力。
• 通过实证验证所提出框架在诊断准确性和可解释性方面的有效性。

提出的方法

• 使用神经网络嵌入将学生和练习映射到低维因子向量。
• 通过多层神经网络建模学生-练习交互，以捕捉复杂且非线性的关系。
• 对因子向量施加单调性约束，以确保能力水平的可解释性。
• 通过传统 Q-矩阵实现 NeuralCDM，以指定每个练习所需的知识概念。
• 通过整合练习的文本内容，将 NeuralCDM 扩展为 NeuralCDM+，以丰富概念表征。
• 使用真实世界的学生作答数据端到端训练框架，以优化预测准确率。

实验结果

研究问题

• RQ1 基于神经网络的框架是否能相比传统认知诊断模型提升诊断准确率？
• RQ2 能否在保持可解释性的前提下，利用深度学习有效建模学生与练习之间的复杂非线性交互？
• RQ3 将练习中的文本内容整合是否能提升认知诊断模型的性能？
• RQ4 对学习到的因子向量施加单调性约束在多大程度上能保持可解释性而不损失预测性能？
• RQ5 所提出的 NeuralCDM 和 NeuralCDM+ 变体在真实世界教育数据集上与现有方法相比表现如何？

主要发现

• NeuralCD 通过捕捉复杂的学生-练习交互，在真实世界数据集上实现了比传统认知诊断模型更高的诊断准确率。
• NeuralCDM+ 中文本内容的引入显著提升了基线 NeuralCDM 的性能，证明了丰富输入特征的价值。
• 单调性约束在保持高预测准确率的同时，有效维持了学习到的因子向量的可解释性。
• NeuralCDM+ 在准确率和可解释性方面均优于现有方法，尤其在涉及复杂或细微练习内容的场景中表现更优。
• 该框架在多个真实世界数据集上均表现出一致的性能提升，验证了其泛化能力和鲁棒性。
• 消融实验确认，神经交互建模和单调性约束均对整体性能有显著贡献。