[논문 리뷰] Machine Learning Approach for Predicting Students Academic Performance and Study Strategies based on their Motivation

Fidelia A. Orji, Julita Vassileva|arXiv (Cornell University)|2022. 10. 15.

Online Learning and Analytics인용 수 8

한 줄 요약

이 연구는 내재적 및 외재적 동기, 자율성, 유대감, 능력감, 자존감을 핵심 예측 변수로 삼아 대학 생들의 학업 성취도와 학습 전략을 예측하기 위한 기계학습 모델을 개발한다. 칠레의 924명의 치의예과 학생들로부터 수집한 데이터를 바탕으로 트리 기반 모델—특히 랜덤 포레스트—가 94.9%의 정확도를 기록하여, 동기 요소가 높은 교육 환경에서 학습 간입을 개인화하는 데 효과적일 수 있음을 보여준다.

ABSTRACT

This research aims to develop machine learning models for students academic performance and study strategies prediction which could be generalized to all courses in higher education. Key learning attributes (intrinsic, extrinsic, autonomy, relatedness, competence, and self-esteem) essential for students learning process were used in building the models. Determining the broad effect of these attributes on students' academic performance and study strategy is the center of our interest. To investigate this, we used Scikit-learn in python to build five machine learning models (Decision Tree, K-Nearest Neighbour, Random Forest, Linear/Logistic Regression, and Support Vector Machine) for both regression and classification tasks to perform our analysis. The models were trained, evaluated, and tested for accuracy using 924 university dentistry students' data collected by Chilean authors through quantitative research design. A comparative analysis of the models revealed that the tree-based models such as the random forest (with prediction accuracy of 94.9%) and decision tree show the best results compared to the linear, support vector, and k-nearest neighbours. The models built in this research can be used in predicting student performance and study strategy so that appropriate interventions could be implemented to improve student learning progress. Thus, incorporating strategies that could improve diverse student learning attributes in the design of online educational systems may increase the likelihood of students continuing with their learning tasks as required. Moreover, the results show that the attributes could be modelled together and used to adapt/personalize the learning process.

연구 동기 및 목표

• 높은 교육 과정 전반에서 학업 성취도와 학습 전략을 예측하기 위한 일반화 가능한 기계학습 모델을 개발하기 위해.
• 자율성, 능력감, 자존감과 같은 핵심 심리적 학습 특성—예를 들어—학생의 성취도와 학습 행동에 미치는 영향을 조사하기 위해.
• 기계학습 알고리즘의 다양성에 따라 동기 요인을 기반으로 한 학생 성과 모델링에서의 예측 성능를 비교하기 위해.
• 핵심 동기 기반 예측 변수를 식별함으로써 온라인 교육 시스템에서 데이터 기반 개인화 간입을 가능하게 하기 위해.

제안 방법

• 칠레의 924명의 대학 치의예과 학생들로부터 동기 특성과 학업 성과를 평가하기 위해 정량적 데이터를 수집하였다.
• 다섯 가지 지도 학습 모델을 사용하였다: 결정 트리, K-최근접 이웃, 랜덤 포레스트, 선형/로지스틱 회귀, 서포트 벡터 머신.
• 학업 성취도와 학습 전략을 예측하기 위해 회귀 및 분류 작업을 모두 수행하였다.
• 모델 훈련, 평가 및 테스트에 파이썬의 사이킷런을 사용하였으며, 표준 성능 지표를 적용하였다.
• 모델 간 비교 분석을 통해 가장 정확하고 강건한 예측 변수를 규명하였다.
• 모델 훈련을 위한 입력 특성으로 다수의 동기 특성(내재적 동기, 외재적 동기, 자율성, 유대감, 능력감, 자존감)을 통합하였다.

실험 결과

연구 질문

• RQ1 학생의 동기 특성에 기반하여 학업 성취도와 학습 전략을 예측하는 데 가장 효과적인 기계학습 모델은 무엇인가?
• RQ2 내재적 동기와 외재적 동기, 자율성, 유대감, 능력감, 자존감이 함께 학업 성과에 어떻게 영향을 미치는가?
• RQ3 동기 기반 특성은 온라인 교육 시스템에서 학습 경험을 개인화하는 데 효과적으로 활용될 수 있는가?
• RQ4 이 맥락에서 트리 기반 모델 대비 선형 및 커널 기반 모델의 상대적 예측 정확도는 어떠한가?

주요 결과

• 랜덤 포레스트 모델이 학생의 학습 전략과 학업 성취도를 분류하는 데 가장 높은 예측 정확도 94.9%를 기록하였다.
• 결정 트리 및 랜덤 포레스트를 포함한 트리 기반 모델들이 선형 모델, K-최근접 이웃, 서포트 벡터 머신보다 우수한 성능을 보였다.
• 자율성, 능력감, 자존감과 같은 다수의 동기 특성 통합이 모델의 예측 능력을 크게 향상시켰다.
• 연구 결과는 동기 기반 특성을 활용해 높은 교육 환경에서 개인화된 학습 간입을 구현할 수 있음을 뒷받침한다.
• 심리적 학습 특성을 함께 모델링할 경우 교육 시스템에서 예측 및 개인화를 향상시킬 수 있음을 본 연구는 입증하였다.