[论文解读] Improving Students' Academic Performance with AI and Semantic Technologies

Yixin Cheng|arXiv (Cornell University)|May 2, 2022

Online Learning and Analytics被引用 4

一句话总结

本研究提出了一种基于人工智能的框架，结合遗传算法（GA）优化的长短期记忆（LSTM）网络、基于 BERT 的语义嵌入以及 SemRefD 技术，用于先决条件检测，以提升学生表现预测与课程体系分析。该方法在辍学预测方面相比先前工作实现了 2.5% 的准确率提升，并成功利用语义相似性与概念级依赖评分识别出编程课程之间的强先决条件关系。

ABSTRACT

Artificial intelligence and semantic technologies are evolving and have been applied in various research areas, including the education domain. Higher Education institutions strive to improve students' academic performance. Early intervention to at-risk students and a reasonable curriculum is vital for students' success. Prior research opted for deploying traditional machine learning models to predict students' performance. In terms of curriculum semantic analysis, after conducting a comprehensive systematic review regarding the use of semantic technologies in the Computer Science curriculum, a major finding of the study is that technologies used to measure similarity have limitations in terms of accuracy and ambiguity in the representation of concepts, courses, etc. To fill these gaps, in this study, three implementations were developed, that is, to predict students' performance using marks from the previous semester, to model a course representation in a semantic way and compute the similarity, and to identify the prerequisite between two similar courses. Regarding performance prediction, we used the combination of Genetic Algorithm and Long-Short Term Memory (LSTM) on a dataset from a Brazilian university containing 248730 records. As for similarity measurement, we deployed BERT to encode the sentences and used cosine similarity to obtain the distance between courses. With respect to prerequisite identification, TextRazor was applied to extract concepts from course description, followed by employing SemRefD to measure the degree of prerequisite between two concepts. The outcomes of this study can be summarized as: (i) a breakthrough result improves Manrique's work by 2.5% in terms of accuracy in dropout prediction; (ii) uncover the similarity between courses based on course description; (iii) identify the prerequisite over three compulsory courses of School of Computing at ANU.

研究动机与目标

• 通过结合混合人工智能模型提升辍学预测准确率，实现对高风险学生的早期检测。
• 通过利用 BERT 对课程描述进行语义编码，解决现有课程相似性度量方法的局限性。
• 通过概念抽取与依赖评分，识别语义相似课程之间的先决条件关系。
• 通过可解释的、基于人工智能的语义分析，支持大学课程的课程设计与学术指导。
• 通过结合深度学习与知识表示技术，弥合语义课程分析中的空白。

提出的方法

• 采用遗传算法（GA）优化基于 LSTM 的辍学预测在巴西一所大学数据集（含 248,730 条记录）上的特征选择。
• 应用带有全连接层的长短期记忆（LSTM）网络，对学生的学业表现序列进行建模，并预测辍学风险。
• 使用 BERT-base 将 ANU 的课程描述嵌入为密集的语义向量，实现课程之间的余弦相似度计算。
• 采用 TextRazor 从课程描述中提取关键概念，随后利用 SemRefD 计算概念对之间的先决条件强度。
• 结合相似度评分与先决条件度量，分析 ANU 计算学院中 1000、2000、以及 3000/4000 级课程之间的关系。
• 通过真实课程数据验证结果，以编程课程（如 COMP1100、COMP1110 和 COMP2100）作为案例研究。

实验结果

研究问题

• RQ1 与现有方法相比，混合 GA-LSTM 模型是否能提升学生辍学预测的准确率？
• RQ2 基于 BERT 的语义嵌入在多大程度上能准确衡量大学课程描述之间的相似性？
• RQ3 SemRefD 在多大程度上能识别出语义相似课程之间有意义的先决条件关系？
• RQ4 在计算机科学课程体系中，课程相似性与先决条件强度之间存在何种关系？
• RQ5 深度学习与语义技术的整合是否能支持高等教育中的早期干预与课程优化？

主要发现

• GA-LSTM 模型相比 Manrique 等人最佳结果的辍学预测准确率提升了 2.5%，在 ARQ 数据集上实现了性能突破。
• 基于 BERT 的语义编码实现了较高的余弦相似度得分，其中 COMP1110 与其他 1000 级课程的平均相似度最高。
• COMP2100 与 COMP1100 的相似度得分为 0.9479，与 COMP1110 的得分为 0.9543，表明二者具有强烈的语义对齐。
• COMP1100 与 COMP2100 之间的先决条件得分为 13.17，表明存在强烈依赖关系；而 COMP1110 与 COMP2100 的得分为 12.06，证实了其先决条件关系。
• COMP1100 与 COMP1110 之间的先决条件得分较低（4.4），表明它们在课程体系中更偏向并行而非层级关系。
• 该框架成功识别出 COMP2100 是一门关键课程，其先决条件来自 COMP1100 和 COMP1110，与课程结构一致。