[论文解读] Academic Performance Estimation with Attention-based Graph Convolutional Networks

Qian Hu, Huzefa Rangwala|arXiv (Cornell University)|Dec 26, 2019

Online Learning and Analytics参考文献 33被引用 18

一句话总结

本文提出了一种基于注意力机制的图卷积网络（ACGN），通过建模复杂的课程依赖结构，实现对学生未来课程表现的预测，并支持可解释的预测结果。该模型在成绩预测准确率和潜在风险学生检测方面优于当前最先进方法，同时通过识别影响结果的关键先修课程，提供基于注意力机制的预测解释。

ABSTRACT

Student's academic performance prediction empowers educational technologies including academic trajectory and degree planning, course recommender systems, early warning and advising systems. Given a student's past data (such as grades in prior courses), the task of student's performance prediction is to predict a student's grades in future courses. Academic programs are structured in a way that prior courses lay the foundation for future courses. The knowledge required by courses is obtained by taking multiple prior courses, which exhibits complex relationships modeled by graph structures. Traditional methods for student's performance prediction usually neglect the underlying relationships between multiple courses; and how students acquire knowledge across them. In addition, traditional methods do not provide interpretation for predictions needed for decision making. In this work, we propose a novel attention-based graph convolutional networks model for student's performance prediction. We conduct extensive experiments on a real-world dataset obtained from a large public university. The experimental results show that our proposed model outperforms state-of-the-art approaches in terms of grade prediction. The proposed model also shows strong accuracy in identifying students who are at-risk of failing or dropping out so that timely intervention and feedback can be provided to the student.

研究动机与目标

• 解决静态模型和序列模型在捕捉学术项目中复杂多课程知识依赖关系方面的局限性。
• 通过将课程关系建模为反映先修课程与知识依赖关系的图结构，提升学生学业表现预测的准确性。
• 通过识别对目标课程表现预测影响最大的先修课程，实现可解释的预测结果。
• 利用注意力机制突出缺失或薄弱的先修知识，实现对潜在风险学生的早期识别。
• 为导师和学术规划人员提供透明、基于证据的预测结果，以支持教育决策。

提出的方法

• 模型构建课程依赖图，其中节点代表课程，边代表先修或知识依赖关系。
• 图卷积网络（GCNs）聚合邻近课程的特征，以学习学生在多门先修课程中表现的上下文表征。
• 在 GCN 中集成注意力机制，根据其与目标课程预测的相关性，动态分配先修课程的重要性分数。
• 注意力层采用基于查询的机制计算课程重要性，其中查询源自目标课程嵌入，键则来自先修课程嵌入。
• 最终预测通过结合 GCN 学习的表征与注意力加权贡献生成，兼顾高准确率与可解释性。
• 模型在大型公立大学的真实学术记录上，使用平均绝对误差（MAE）损失进行端到端训练。

实验结果

研究问题

• RQ1 基于图的深度学习模型是否能在预测学生未来课程表现方面优于传统静态和序列模型？
• RQ2 注意力机制在识别影响目标课程表现的最关键先修课程方面，其有效性如何？
• RQ3 该模型在多大程度上能够检测出可能在目标课程中失败或退学的学生？
• RQ4 模型的预测结果在多大程度上具有可解释性？注意力分数能否为学术咨询决策提供有意义的解释？
• RQ5 当图嵌入维度等超参数变化时，模型性能对这些参数的敏感程度如何？

主要发现

• ACGN 模型在真实世界数据集（2017 年秋季和 2018 年春季）上的成绩预测中，相比最先进方法表现出更优性能，平均绝对误差（MAE）更低。
• 模型在检测潜在风险学生方面表现出色，能准确识别出可能在目标课程中失败或退学的学生。
• 注意力分数成功突出了缺失或薄弱的先修知识，例如未通过或未修读关键课程（如 MATH-212 或 CS-211），这些因素可直接解释预测表现不佳的原因。
• 案例研究证实，注意力机制准确识别出目标课程（如 BIOL-452）的相关先修课程（如 BIOL-213 和 BIOL-214），与学术课程结构一致。
• 敏感性分析表明，模型性能在不同嵌入维度下保持稳定，表明对超参数设置具有鲁棒性。
• 通过案例研究验证了模型的可解释性，注意力权重为学术导师提供了可操作的洞察，可用于指导学生干预措施。