[논문 리뷰] GritNet: Student Performance Prediction with Deep Learning

Byung‐Hak Kim, Ethan Vizitei외 1명|arXiv (Cornell University)|2018. 04. 19.

Online Learning and Analytics참고 문헌 7인용 수 87

한 줄 요약

GritNet은 학생 성과 예측을 연속 이벤트 예측으로 처리하고 임베딩과 GMP 레이어를 갖춘 BLSTM을 사용하여 원시 타임스탬프 이벤트로부터 향후 졸업 가능성을 예측하며, 초기 주에서 특히 로지스틱 회귀 베이스라인보다 성능이 높다.

ABSTRACT

Student performance prediction - where a machine forecasts the future performance of students as they interact with online coursework - is a challenging problem. Reliable early-stage predictions of a student's future performance could be critical to facilitate timely educational interventions during a course. However, very few prior studies have explored this problem from a deep learning perspective. In this paper, we recast the student performance prediction problem as a sequential event prediction problem and propose a new deep learning based algorithm, termed GritNet, which builds upon the bidirectional long short term memory (BLSTM). Our results, from real Udacity students' graduation predictions, show that the GritNet not only consistently outperforms the standard logistic-regression based method, but that improvements are substantially pronounced in the first few weeks when accurate predictions are most challenging.

연구 동기 및 목표

• 온라인 과정에서 시의적절한 개입을 가능하게 하기 위한 학생 졸업의 정확하고 조기 예측을 촉진한다.
• 학생 성과 예측을 연속 이벤트 예측 문제로 재정의하고, 과도한 특징 엔지니어링 없이 딥 러닝을 적용한다.
• GritNet이 코스의 초기 주들에서 특히 로지스틱 회귀 베이스라인보다 졸업 예측을 개선함을 보여준다.
• 초기 예측력과 불균형 데이터에 대한 강인성을 평가하기 위해 실제 Udacity Nanodegree 데이터에서 GritNet을 평가한다.

제안 방법

• 타임스탬프가 있는 학생 행동을 원-핫 인코딩과 구간화된 이벤트 간 시간으로 고정 길이 입력으로 인코딩한다.
• 학습 가능한 임베딩 행렬로 이벤트를 임베딩하여 밀집 표현을 생성한다.
• 양방향 LSTM 층으로 시퀀스를 모델링하여 시간적 맥락을 포착한다.
• 밀집 출력 전에 시퀀스의 판별적 부분에 집중하기 위해 글로벌 맥 풀링(GMP) 레이어를 적용한다.
• 음의 로그 우도(이진 교차 엔트로피)로 학습하고 규제를 위해 드롭아웃을 사용한다.
• 단어 모음 특징을 사용하는 로지스틱 회귀 베이스라인과 비교하고 5-폴드 교차검증을 수행한다.

실험 결과

연구 질문

• RQ1 부분적인 학생 이벤트 이력으로부터 최종 졸업을 로지스틱 회귀 베이스라인보다 더 정확하게 예측할 수 있는가?
• RQ2 GMP 레이어가 불균형 데이터와 가변 길이 이벤트 시퀀스에서 예측을 개선하는가?
• RQ3 주 단위로 얼마나 일찍 GritNet이 베이스라인에 비해 우수한 졸업 예측을 제공하는가?
• RQ4 다른 커리큘럼과 졸업률을 가진 다양한 Udacity Nanodegree 데이터셋에서 GritNet은 어떻게 성능을 보이는가?

주요 결과

• ND-A와 ND-B 데이터셋 모두에서 주차 전반에 걸쳐 GritNet이 로지스틱 회귀 베이스라인보다 더 높은 예측 정확도를 달성한다.
• 초기 주(ND-A의 1주차; ND-B의 3주차)에서 AUC가 5.0%포인트 이상 절대 향상을 제공한다.
• ND-B에서 베이스라인은 같은 성능에 도달하기 위해 8주의 데이터가 필요한 반면 GritNet은 3주 데이터로 달성한다.
• GMP는 데이터 불균형을 완화하고 GMP가 없는 일반 BLSTM에 비해 예측력을 높인다.
• GritNet은 초기 단계에서도 강력한 예측력을 보여주어 개입을 위한 피드백 루프를 빠르게 가능하게 한다.