[論文レビュー] Machine Learning Approach for Predicting Students Academic Performance and Study Strategies based on their Motivation

Fidelia A. Orji, Julita Vassileva|arXiv (Cornell University)|Oct 15, 2022

Online Learning and Analytics被引用数 8

ひとこと要約

本研究では、内発的・外発的動機、自律性、関係性、能力、自己有用性を主な予測変数として用い、大学の学生の学業成績および学習戦略を予測する機械学習モデルを開発した。チリの歯学部学生924名のデータを用いて、特にランダムフォレストを含む木構造モデルが94.9％の正確性を達成し、高等教育分野における学習介入のパーソナライズに動機づけ要因を効果的に活用できることが示された。

ABSTRACT

This research aims to develop machine learning models for students academic performance and study strategies prediction which could be generalized to all courses in higher education. Key learning attributes (intrinsic, extrinsic, autonomy, relatedness, competence, and self-esteem) essential for students learning process were used in building the models. Determining the broad effect of these attributes on students' academic performance and study strategy is the center of our interest. To investigate this, we used Scikit-learn in python to build five machine learning models (Decision Tree, K-Nearest Neighbour, Random Forest, Linear/Logistic Regression, and Support Vector Machine) for both regression and classification tasks to perform our analysis. The models were trained, evaluated, and tested for accuracy using 924 university dentistry students' data collected by Chilean authors through quantitative research design. A comparative analysis of the models revealed that the tree-based models such as the random forest (with prediction accuracy of 94.9%) and decision tree show the best results compared to the linear, support vector, and k-nearest neighbours. The models built in this research can be used in predicting student performance and study strategy so that appropriate interventions could be implemented to improve student learning progress. Thus, incorporating strategies that could improve diverse student learning attributes in the design of online educational systems may increase the likelihood of students continuing with their learning tasks as required. Moreover, the results show that the attributes could be modelled together and used to adapt/personalize the learning process.

研究の動機と目的

• 高等教育の授業において、一般化可能な機械学習モデルを構築し、学業成績と学習戦略を予測すること。
• 自律性、能力、自己有用性などの主な心理的学習的属性が、学生の成績および学習行動に与える影響を調査すること。
• 動機要因に基づいて学生の成績を予測するための、多様な機械学習アルゴリズムの予測性能を比較すること。
• 動機に基づく重要な予測変数を同定することで、オンライン教育システムにおけるデータ駆動型でパーソナライズされた介入を可能にすること。

提案手法

• チリの924名の大学歯学部学生から、動機づけ要因と学業成績を評価するための定量的データを収集した。
• 5つの教師あり学習モデル（決定木、K近傍法、ランダムフォレスト、線形／ロジスティック回帰、サポートベクターマシン）を用いた。
• 学業成績と学習戦略の両方を予測するための回帰および分類タスクを実施した。
• スクラッチ・ランタイム環境（Scikit-learn）をPythonで使用し、標準的な性能指標を用いてモデルの訓練、評価、テストを実施した。
• モデル間の比較分析を通じて、最も正確で頑健な予測変数を同定した。
• 複数の動機づけ要因（内発的動機、外発的動機、自律性、関係性、能力、自己有用性）をモデルの訓練に使用する入力特徴量として統合した。

実験結果

リサーチクエスチョン

• RQ1 学生の動機づけ要因に基づいて、学業成績と学習戦略を最も効果的に予測できる機械学習モデルは何か？
• RQ2 内発的動機と外発的動機、自律性、関係性、能力、自己有用性が、共同して学業成績にどのように影響を与えるか？
• RQ3 動機に基づく要因は、オンライン教育システムにおける学習体験のパーソナライズに効果的に活用できるか？
• RQ4 この文脈において、木構造モデルと線形・カーネルベースのモデルの相対的な予測正確性はどの程度か？

主な発見

• ランダムフォレストモデルが、学生の学習戦略と学業成績の分類において94.9％の最高正確性を達成した。
• 決定木やランダムフォレストを含む木構造モデルが、線形モデル、K近傍法、サポートベクターマシンを上回った。
• 自律性、能力、自己有用性などの複数の動機づけ要因の統合が、モデルの予測力の向上に顕著に寄与した。
• 動機づけに基づく特徴量を用いることで、高等教育分野における学習介入のパーソナライズが現実的に行えることが結果から支持された。
• 本研究は、心理的学習的属性を統合的にモデル化することで、教育システムにおける予測精度とパーソナライズの向上が可能であることを示した。