[논문 리뷰] Developing Accurate Early Warning Systems Via Data Analytics

Emma Howard, Maria Meehan외 1명|arXiv (Cornell University)|2016. 12. 17.

Online Learning and Analytics인용 수 4

한 줄 요약

이 연구는 첫 해 과학, 기술, 공학, 수학(STEM) 통계 수업을 대상으로 블랙보드 VLE에서 확보한 데이터를 활용해 데이터 기반의 조기 경고 시스템을 개발한다. 세부적인 참여도 지표와 BART 모델링을 적용하여 주 5~6주차에 최종 성적을 평균 절대오차 2.5%p로 예측하며, 이 시기의 간섭이 최적임을 규명한다.

ABSTRACT

In this study we develop an early warning system for a large first year STEM undergraduate course and discuss the data analytics decisions at each stage. Numerous studies have provided evidence in favour of adopting early warning systems as a means of identifying at-risk students in online courses. Many of these early warning systems are in practical use and rely on data from students' engagement with Virtual Learning Environments (VLEs), also referred to as Learning Management Systems. Our study examines how to develop an early warning system, and investigates the optimal time in a course to apply such a system. We present findings from a statistics university course which has a large proportion of resources on the VLE Blackboard and weekly continuous assessment. We identify weeks 5-6 of the course as the critical time in the semester to implement an early warning system. Through detailed (fine-grained) variables, mixed mode clustering and our final prediction method of BART (Bayesian Additive Regressive Trees) we are able to predict students' final grade by week 6 based on mean absolute error (MAE) to within 2.5 percentage points. Subsequently, we argue for the inclusion of cluster membership as explanatory variables.

연구 동기 및 목표

• VLE 참여도 데이터를 활용해 위험에 처한 STEM 학생을 정확하게 식별하는 조기 경고 시스템을 개발하는 것.
• 학기 동안 이러한 시스템을 구현할 최적의 시기를 규명하는 것.
• 최종 수업 성적 예측 성능을 BART 및 클러스터링 강화 모델에서 평가하는 것.
• 예측 모델에서 클러스터 멤버십이 설명 변수로서의 가치를 평가하는 것.

제안 방법

• 첫 해 통계 수업 기간 동안 블랙보드 VLE에서 확보한 세부적이고 세밀한 학생 참여도 데이터를 활용하였다.
• 참여 패턴과 과목 성과를 바탕으로 학생들을 군집화하기 위해 혼합 모드 클러스터링을 적용하였다.
• 최종 성적 예측을 위한 주요 예측 모델로 베이지안 덧셈 회귀 트리(BART)를 사용하였다.
• 모델의 해석 가능성과 성능 향상을 위해 클러스터 멤버십을 설명 변수로 통합하였다.
• 학기 동안의 다양한 시점에서 평균 절대오차(MAE)를 사용해 모델 성능을 평가하였다.
• 예측 정확도와 데이터 가용성을 종합적으로 고려해 주 5~6주차를 최적의 간섭 창구로 선정하였다.

실험 결과

연구 질문

• RQ1 위험에 처한 학생을 식별하기 위해 조기 경고 시스템을 학기 동안 언제 구현할 것이 가장 적절한가?
• RQ2 주 6주차까지 VLE 참여도 데이터를 활용해 학생의 최종 성적을 얼마나 정확하게 예측할 수 있는가?
• RQ3 예측 변수로 클러스터 멤버십을 포함시키면 조기 성적 예측 정확도가 향상되는가?
• RQ4 세밀한 참여도 변수는 예측 성능 향상에 어떤 역할을 하는가?

주요 결과

• 조기 경고 시스템을 구현할 최적의 시기는 학기의 주 5~6주차이다.
• 주 6주차까지 최종 성적을 예측하는 데 평균 절대오차(MAE)가 2.5%p로 도출되었다.
• 클러스터 멤버십을 설명 변수로 포함시킴으로써 모델의 해석 가능성과 예측 성능가 향상되었다.
• 세밀한 참여도 변수가 예측 정확도 향상에 크게 기여하였다.
• BART는 학생 행동 데이터의 복잡한 비선형 관계를 다루는 데서 다른 모델보다 뛰어난 성능을 보였다.
• 이 시스템은 대규모 첫 해 STEM 수업에서 실용적 도입 가능성이 매우 높다.