[논문 리뷰] Academic Performance Estimation with Attention-based Graph Convolutional Networks

Qian Hu, Huzefa Rangwala|arXiv (Cornell University)|2019. 12. 26.

Online Learning and Analytics참고 문헌 33인용 수 18

한 줄 요약

이 논문은 복잡한 과목 의존 구조를 모델링하고 예측의 해석 가능성을 보장함으로써 향후 과목에서의 학생 성취도를 예측하기 위해 주의 기반 그래프 컨볼루션 네트워크(ACGN)를 제안한다. 이 모델은 등급 예측 정확도와 위험에 처한 학생 탐지에서 최신 기술을 능가하며, 예측에 영향을 미치는 핵심 이전 과목을 식별함으로써 주의 기반 설명을 제공한다.

ABSTRACT

Student's academic performance prediction empowers educational technologies including academic trajectory and degree planning, course recommender systems, early warning and advising systems. Given a student's past data (such as grades in prior courses), the task of student's performance prediction is to predict a student's grades in future courses. Academic programs are structured in a way that prior courses lay the foundation for future courses. The knowledge required by courses is obtained by taking multiple prior courses, which exhibits complex relationships modeled by graph structures. Traditional methods for student's performance prediction usually neglect the underlying relationships between multiple courses; and how students acquire knowledge across them. In addition, traditional methods do not provide interpretation for predictions needed for decision making. In this work, we propose a novel attention-based graph convolutional networks model for student's performance prediction. We conduct extensive experiments on a real-world dataset obtained from a large public university. The experimental results show that our proposed model outperforms state-of-the-art approaches in terms of grade prediction. The proposed model also shows strong accuracy in identifying students who are at-risk of failing or dropping out so that timely intervention and feedback can be provided to the student.

연구 동기 및 목표

• 학술 과정에서 복잡한 다중 과목 지식 의존 관계를 포괄하지 못하는 정적 모델 및 순차적 모델의 한계를 해결하기 위해.
• 선수과목 및 지식 의존 관계를 반영하는 그래프 구조로 과목 간 관계를 모델링함으로써 학생 성취도 예측 정확도를 향상시키기 위해.
• 학습자가 목표 과목에서 예측 성취도에 가장 영향을 미치는 이전 과목을 식별함으로써 예측의 해석 가능성을 보장하기 위해.
• 주의 메커니즘을 활용해 부족하거나 약한 선수과목 지식을 강조함으로써 위험에 처한 학생을 조기에 탐지하기 위해.
• 지도자 및 학사 기획자들이 투명하고 증거 기반 예측을 통해 교육적 의사결정을 지원하기 위해.

제안 방법

• 노드는 과목을 나타내고, 간선은 선수과목 또는 지식 의존 관계를 나타내는 과목 의존 그래프를 모델이 구축한다.
• 그래프 컨볼루션 네트워크(GCNs)는 이웃 과목의 특징을 집계하여 다수의 이전 과목을 거쳐 학생 성취도의 맥락적 표현을 학습한다.
• 목표 과목에서의 성과 예측에 대한 관련성에 따라 이전 과목의 중요도를 동적으로 할당하기 위해 GCN에 주의 메커니즘이 통합된다.
• 주의 레이어는 목표 과목 임bedding에서 파생된 쿼리와 이전 과목 임bedding에서 온 키를 사용하여 과목 중요도를 계산한다.
• 최종 예측은 GCN로 학습된 표현과 주의 가중치 기반 기여도를 조합함으로써 높은 정확도와 해석 가능성을 동시에 달성한다.
• 실제로 대규모 공립 대학의 학술 기록을 사용하여 평균 절대 오차(MAE) 손실을 기반으로 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 그래프 기반 딥 러닝 모델이 기존 정적 모델 및 순차적 모델에 비해 향후 과목에서의 학생 성취도를 예측하는 데서 우월한 성능을 보일 수 있는가?
• RQ2 주의 메커니즘이 목표 과목에서의 성취도를 예측하는 데 가장 영향을 미치는 이전 과목을 얼마나 효과적으로 식별할 수 있는가?
• RQ3 이 모델이 성과가 좋지 않을 것 같거나 과목을 중도에 포기할 가능성이 있는 위험에 처한 학생을 어느 정도 잘 탐지할 수 있는가?
• RQ4 이 모델의 예측은 얼마나 해석 가능하며, 주의 점수는 학사 지도 의사결정에 의미 있는 설명을 제공할 수 있는가?
• RQ5 모델 성능이 그래프 임베딩 차원과 같은 하이퍼파rameter에 얼마나 민감한가?

주요 결과

• ACGN 모델은 실세계 데이터셋(2017년 가을학기 및 2018년 봄학기)에서 최신 기술 대비 더 낮은 평균 절대 오차(MAE)를 기록하여 등급 예측 성능에서 뛰어난 성능을 보였다.
• 모델은 위험에 처한 학생 탐지 능력이 뛰어나, 목표 과목에서 실패하거나 중도에 포기할 가능성이 있는 학생들을 정확히 식별했다.
• 주의 점수는 MATH-212나 CS-211과 같은 핵심 과목을 실패하거나 수강하지 않은 부족한 선수과목 지식을 효과적으로 드러내어 낮은 성과 예측의 직접적인 이유를 설명했다.
• 사례 연구를 통해 주의 메커니즘이 BIOL-452와 같은 목표 과목에 대해 BIOL-213 및 BIOL-214와 같은 관련 선수과목을 식별함으로써 학술 커리큘럼의 구조와 일치함을 확인했다.
• 민감도 분석 결과, 모델 성능이 다양한 임베딩 차원 설정에서도 안정적으로 유지되어 하이퍼파rameter 설정에 대해 강건함을 입증했다.
• 사례 연구를 통해 모델의 해석 가능성이 검증되었으며, 주의 가중치는 학사 지도자가 학생 지원 조치를 내릴 수 있는 실질적인 통찰을 제공했다.