[논문 리뷰] Improving Students' Academic Performance with AI and Semantic Technologies

Yixin Cheng|arXiv (Cornell University)|2022. 05. 02.

Online Learning and Analytics인용 수 4

한 줄 요약

이 연구는 유전 알고리즘(GA) 최적화된 장기 단기 기억(LSTM) 네트워크와 BERT 기반 의미 임베딩, SemRefD를 통합한 AI 기반 프레임워크를 제안하여 학생 성과 예측 및 커리큘럼 분석을 향상시킨다. 이는 이전 연구 대비 탈락 예측에서 2.5%의 정확도 향상을 달성했으며, 프로그래밍 과목 간의 강력한 선수과목 관계를 의미적 유사성과 개념 수준의 종속성 점수 기반으로 성공적으로 식별하였다.

ABSTRACT

Artificial intelligence and semantic technologies are evolving and have been applied in various research areas, including the education domain. Higher Education institutions strive to improve students' academic performance. Early intervention to at-risk students and a reasonable curriculum is vital for students' success. Prior research opted for deploying traditional machine learning models to predict students' performance. In terms of curriculum semantic analysis, after conducting a comprehensive systematic review regarding the use of semantic technologies in the Computer Science curriculum, a major finding of the study is that technologies used to measure similarity have limitations in terms of accuracy and ambiguity in the representation of concepts, courses, etc. To fill these gaps, in this study, three implementations were developed, that is, to predict students' performance using marks from the previous semester, to model a course representation in a semantic way and compute the similarity, and to identify the prerequisite between two similar courses. Regarding performance prediction, we used the combination of Genetic Algorithm and Long-Short Term Memory (LSTM) on a dataset from a Brazilian university containing 248730 records. As for similarity measurement, we deployed BERT to encode the sentences and used cosine similarity to obtain the distance between courses. With respect to prerequisite identification, TextRazor was applied to extract concepts from course description, followed by employing SemRefD to measure the degree of prerequisite between two concepts. The outcomes of this study can be summarized as: (i) a breakthrough result improves Manrique's work by 2.5% in terms of accuracy in dropout prediction; (ii) uncover the similarity between courses based on course description; (iii) identify the prerequisite over three compulsory courses of School of Computing at ANU.

연구 동기 및 목표

• 하이브리드 AI 모델을 활용해 탈락 예측 정확도를 향상시켜 위험에 처한 학생을 조기에 탐지하는 것.
• 기존의 과목 유사도 측정 방법의 한계를 보완하기 위해 과목 설명의 의미적 인코딩을 위해 BERT를 활용하는 것.
• 개념 추출 및 종속성 점수 기반으로 유사한 과목 간의 선수과목 관계를 식별하는 것.
• 해당 과목의 의미적 분석을 통해 해석 가능한 AI 기반 커리큘럼 설계 및 학업 상담을 지원하는 것.
• 딥 러닝과 지식 표현 기법을 융합하여 의미론적 커리큘럼 분석의 격차를 메우는 것.

제안 방법

• 브라질의 대학 데이터셋(248,730건)을 대상으로 GA를 활용해 LSTM 기반 탈락 예측를 위한 특징 선택을 최적화하였다.
• 순차적인 학업 성과를 모델링하고 탈락 위험을 예측하기 위해 완전 연결층을 갖춘 장기 단기 기억(LSTM) 네트워크를 적용하였다.
• ANU의 과목 설명을 BERT-base를 사용해 고밀도 의미 벡터로 임베딩하여 과목 간 코사인 유사도 계산을 가능하게 하였다.
• TextRazor를 활용해 과목 설명에서 핵심 개념을 추출한 후, SemRefD를 적용해 개념 쌍 간의 선수과목 강도를 계산하였다.
• 유사도 점수와 선수과목 지표를 통합하여 ANU의 컴퓨팅 스쿨에서 1000-, 2000-, 3000-/4000-level 과목 간의 관계를 분석하였다.
• 실제 과목 데이터를 활용해 검증하였으며, 사례 연구로 COMP1100, COMP1110, COMP2100 등의 프로그래밍 과목을 중심으로 분석하였다.

실험 결과

연구 질문

• RQ1 기존 방법 대비 하이브리드 GA-LSTM 모델이 학생 탈락 예측 정확도를 향상시킬 수 있는가?
• RQ2 BERT 기반 의미 임베딩은 과목 설명을 바탕으로 대학 과목 간의 유사도를 얼마나 정확하게 측정할 수 있는가?
• RQ3 SemRefD는 의미적으로 유사한 과목 간에 의미 있는 선수과목 관계를 어느 정도 식별할 수 있는가?
• RQ4 컴퓨터 과학 커리큘럼에서 과목 유사도와 선수과목 강도 사이의 관계는 어떠한가?
• RQ5 딥 러닝과 의미 기반 기술의 통합은 높은 교육의 조기 간병 및 커리큘럼 최적화를 지원할 수 있는가?

주요 결과

• GA-LSTM 모델은 Manrique 등이 제시한 최고 성능 결과 대비 탈락 예측 정확도를 2.5% 향상시켜 ARQ 데이터셋에서 성능의 돌파구를 달성하였다.
• BERT 기반 의미 인코딩은 높은 코사인 유사도 점수를 기록했으며, COMP1110은 다른 1000-level 과목들과 평균적으로 가장 높은 유사도를 보였다.
• COMP2100은 COMP1100과 0.9479의 유사도 점수, COMP1110과 0.9543의 유사도 점수를 기록해 강력한 의미적 일치를 보였다.
• COMP1100과 COMP2100 간의 선수과목 점수는 13.17로 강력한 종속성을 나타내었으며, COMP1110과 COMP2100 간의 점수는 12.06로 그들의 선수과목 관계를 확인하였다.
• COMP1100과 COMP1110 간의 관계는 낮은 선수과목 점수 4.4를 기록해 커리큘럼에서 상하관계보다는 평행 관계에 가까운 것으로 나타났다.
• 프레임워크는 COMP2100이 COMP1100과 COMP1110 양쪽에서 강력한 선수과목을 요구하는 핵심 과목임을 성공적으로 식별했으며, 이는 학제 구조와 일치하였다.