[논문 리뷰] Reliable Deep Grade Prediction with Uncertainty Estimation

Qian Hu, Huzefa Rangwala|arXiv (Cornell University)|2019. 02. 26.

Online Learning and Analytics참고 문헌 27인용 수 4

한 줄 요약

이 논문은 유의미한 불확실성 추정을 제공하는 과정별 베이지안 딥러닝 모델—다층 퍼셉트론(MLP) 및 장기 단기 기억(LSTM) 네트워크—을 제안하여 다음 학기 성적 예측의 신뢰성을 향상시킵니다. 학생들의 순차적 수강 패턴을 모델링하고 캘리브레이션된 불확실성 점수를 제공함으로써, 예측 정확도를 높이고 위험에 처한 학생을 식별하는 설명 가능하고 신뢰할 수 있는 조기 경고 시스템을 구현합니다.

ABSTRACT

Currently, college-going students are taking longer to graduate than their parental generations. Further, in the United States, the six-year graduation rate has been 59% for decades. Improving the educational quality by training better-prepared students who can successfully graduate in a timely manner is critical. Accurately predicting students' grades in future courses has attracted much attention as it can help identify at-risk students early so that personalized feedback can be provided to them on time by advisors. Prior research on students' grade prediction include shallow linear models; however, students' learning is a highly complex process that involves the accumulation of knowledge across a sequence of courses that can not be sufficiently modeled by these linear models. In addition to that, prior approaches focus on prediction accuracy without considering prediction uncertainty, which is essential for advising and decision making. In this work, we present two types of Bayesian deep learning models for grade prediction. The MLP ignores the temporal dynamics of students' knowledge evolution. Hence, we propose RNN for students' performance prediction. To evaluate the performance of the proposed models, we performed extensive experiments on data collected from a large public university. The experimental results show that the proposed models achieve better performance than prior state-of-the-art approaches. Besides more accurate results, Bayesian deep learning models estimate uncertainty associated with the predictions. We explore how uncertainty estimation can be applied towards developing a reliable educational early warning system. In addition to uncertainty, we also develop an approach to explain the prediction results, which is useful for advisors to provide personalized feedback to students.

연구 동기 및 목표

• 학생 학습 과정의 복잡한 비선형 상호작용을 포괄하지 못하는 얕은 선형 모델의 한계를 해결하기 위해.
• 지도 및 의사결정 과정에서 필수적인 불확실성 추정을 통합함으로써 성적 예측의 신뢰성을 향상시키기 위해.
• 미래 성과에 영향을 미치는 가장 영향력 있는 사전 과목을 식별함으로써 설명 가능한 예측을 개발하기 위해.
• 정확한 예측과 불확실성 정량화를 결합하여 조기에 개인화된 간섭이 가능하도록 조기 경고 시스템을 향상시키기 위해.
• 실제 대학 데이터를 기반으로 제안된 모델의 성능을 평가하여 최신 기준 모델들보다 뛰어난 성능을 입증하기 위해.

제안 방법

• 각 목표 과목이 관련된 사전 과목들만 입력 특징으로 사용되는 과정별 프레임워크를 채택하기 위해.
• 사전 과목 성적의 정적 특징 표현을 모델링하기 위해 베이지안 다층 퍼셉트론(MLP)을 구현하기 위해.
• 학생들의 지식 진화가 학기 간 변화하는 시간적 동역학을 포착하기 위해 베이지안 장기 단기 기억(LSTM) 네트워크를 사용하기 위해.
• 예측 불확실성을 추정하기 위해 베이지안 딥러닝 기법을 적용하여 각 성적 예측에 대한 신뢰구간을 제공하기 위해.
• 기울기 기반의 샐런시 방법을 사용하여 사전 과목이 목표 과목의 예측 성적에 미치는 영향을 계산하고 순위를 매기기 위해.
• 네트워크 가중치의 사후 분포를 근사하기 위해 변분 추론을 사용한 확률적 경사 하강법으로 모델을 훈련하기 위해.

실험 결과

연구 질문

• RQ1 베이지안 딥러닝 모델이 기존의 얕은 모델들보다 학생들의 미래 과목 성적 예측에서 뛰어난 성능을 보일 수 있는가?
• RQ2 불확실성 추정이 신뢰할 수 없는 예측을 식별하고 조기 경고 시스템의 신뢰성을 향상시키는 데 얼마나 효과적인가?
• RQ3 과거 과목의 영향력이 지도자에게 의미 있고 시각화 가능한 방식으로 설명될 수 있는가?
• RQ4 LSTM을 통해 시간적 동역학을 모델링함으로써 정적 MLP 모델 대비 성능 향상이 이루어지는가?
• RQ5 제안된 프레임워크가 기존 최신 기준 접근 방식들보다 위험에 처한 학생을 더 효과적으로 식별할 수 있는가?

주요 결과

• 제안된 베이지안 LSTM 모델은 최신 기준 모델들보다 뛰어난 예측 성능을 보였으며, 성적 예측 정확도가 향상되었다.
• 모델들은 校정된 불확실성 추정을 제공하여 지도자가 가장 필요로 하는 예측 영역를 식별하는 데 기여했다.
• 영향력 분석 결과, 선수 과목이 각 목표 과목에 대해 항상 상위 5개 이내의 가장 영향력 있는 사전 과목으로 일관되게 나타났다.
• 시스템은 특히 핵심 기초 과목에서 낮은 성취를 보인 학생들처럼 낮은 예측 성적을 가진 위험에 처한 학생들을 성공적으로 식별했다.
• 설명 가능성 구성 요소는 CS-367에 대해 ECE-301이 미래 성과 예측에 가장 큰 영향을 미친다는 것을 효과적으로 드러냈다.
• 베이지안 접근 방식은 불신뢰할 수 있는 예측을 탐지하는 데 더 뛰어난 능력을 보이며, 더 신뢰할 수 있는 조기 경고 시스템 개발을 지원했다.