[논문 리뷰] Early Prediction of Course Grades: Models and Feature Selection

Hengxuan Li, Collin Lynch외 1명|arXiv (Cornell University)|2018. 12. 03.

Online Learning and Analytics참고 문헌 10인용 수 13

한 줄 요약

이 연구는 혼합 수업의 첫 6주 동안의 학생 행동 데이터를 기반으로 학습된 기계학습 모델을 사용하여 과목 성적을 조기 예측하는 것을 제안한다. 온라인 과제 로그와 행동 데이터에서 유도된 특징을 바탕으로 SVM, SVR, 결정 트리, 나이브 베이즈, K-NN의 다섯 가지 알고리즘을 평가한 결과, SVM가 다른 알고리즘보다 뛰어나며 기준 예측 성능을 크게 향상시켰다.

ABSTRACT

In this paper, we compare predictive models for students' final performance in a blended course using a set of generic features collected from the first six weeks of class. These features were extracted from students' online homework submission logs as well as other online actions. We compare the effectiveness of 5 different ML algorithms (SVMs, Support Vector Regression, Decision Tree, Naive Bayes and K-Nearest Neighbor). We found that SVMs outperform other models and improve when compared to the baseline. This study demonstrates feasible implementations for predictive models that rely on common data from blended courses that can be used to monitor students' progress and to tailor instruction.

연구 동기 및 목표

• 초기 수업 데이터를 활용하여 학생의 최종 과목 성적을 예측하는 모델을 개발하고 평가하는 것.
• 제한된 데이터로 학생 성능을 예측할 때 가장 우수한 성능을 보이는 기계학습 알고리즘을 특정하는 것.
• 혼합 학습 환경에서 온라인 학생 상호작용에서 유도된 특징 선택의 영향을 평가하는 것.
• 조기 간섭을 위한 실현 가능하고 데이터 기반의 접근 방식을 제공하는 것.

제안 방법

• 혼합 수업의 첫 6주 동안 온라인 과제 제출 로그와 기타 디지털 상호작용에서 학생 행동 특징을 수집하였다.
• 제출 빈도, 소비 시간, 정확도 비율, 상호작용 패턴을 포함한 18개의 일반적 특징을 추출하였다.
• SVM, 서포트 벡터 회귀(SVR), 결정 트리, 나이브 베이즈, K-최근접 이웃 알고리즘을 사용하여 다섯 가지 기계학습 모델을 학습시켰다.
• 검증용 테스트 세트에서 RMSE 및 결정계수(R-squared)와 같은 표준 회귀 평가 지표를 사용하여 모델 성능을 평가하였다.
• 모델 학습을 위한 가장 예측력 있는 특징 조합을 식별하기 위해 특징 선택 기법을 적용하였다.
• 실제 대학 혼합 수업에서의 데이터셋을 사용하여 실용성과 일반화 능력을 확보하였다.

실험 결과

연구 질문

• RQ1 어느 기계학습 모델이 최종 과목 성적을 가장 정확하게 조기 예측하는가?
• RQ2 초기 수업 행동 특징의 다양한 조합이 예측 성능에 어떤 영향을 미치는가?
• RQ3 특징 선택이 조기 성적 예측에서 모델 정확도 향상에 얼마나 기여하는가?
• RQ4 온라인 학습 플랫폼에서 쉽게 확보할 수 있는 일반적 특징만으로 학습된 모델이 단순 기준 모델을 초월할 수 있는가?
• RQ5 이러한 모델을 실제 혼합 학습 환경에 구현하는 데 실현 가능성이 있는가?

주요 결과

• SVM(Support Vector Machine)는 테스트된 모든 모델 중에서 가장 높은 예측 정확도를 기록했으며, SVR, 결정 트리, 나이브 베이즈, K-NN를 모두 앞섰다.
• 기준 모델 대비 SVM 모델은 예측 성능을 크게 향상시켜 기계학습 기반의 조기 간섭의 가치를 입증하였다.
• 특징 선택을 통해 초기 수업 활동에서 가장 정보성 있는 행동 패턴에 집중함으로써 모델 성능이 향상되었다.
• 이 연구는 초기 행동 데이터—특히 온라인 과제 시스템에서의 데이터—가 최종 과목 성과를 신뢰성 있게 예측할 수 있음을 확인하였다.
• 실시간 교육 모니터링 시스템에 경량화되고 확장 가능한 모델을 도입하는 데 유리한 결과를 제공한다.
• 일반적인 데이터 소스를 활용하여 표준 혼합 학습 플랫폼에서의 구현이 실현 가능하다.