[論文レビュー] Developing Accurate Early Warning Systems Via Data Analytics

Emma Howard, Maria Meehan+1 more|arXiv (Cornell University)|Dec 17, 2016

Online Learning and Analytics被引用数 4

ひとこと要約

本研究では、BlackboardのVLEデータを用いて、初年度のSTEM統計授業におけるデータ駆動型早期警告システムを開発した。細分化された関与指標とBARTモデリングを適用し、5〜6週目に最終成績を平均絶対誤差2.5パーセンテージポイントで予測可能であり、この期間が介入の最適時刻であると特定された。

ABSTRACT

In this study we develop an early warning system for a large first year STEM undergraduate course and discuss the data analytics decisions at each stage. Numerous studies have provided evidence in favour of adopting early warning systems as a means of identifying at-risk students in online courses. Many of these early warning systems are in practical use and rely on data from students' engagement with Virtual Learning Environments (VLEs), also referred to as Learning Management Systems. Our study examines how to develop an early warning system, and investigates the optimal time in a course to apply such a system. We present findings from a statistics university course which has a large proportion of resources on the VLE Blackboard and weekly continuous assessment. We identify weeks 5-6 of the course as the critical time in the semester to implement an early warning system. Through detailed (fine-grained) variables, mixed mode clustering and our final prediction method of BART (Bayesian Additive Regressive Trees) we are able to predict students' final grade by week 6 based on mean absolute error (MAE) to within 2.5 percentage points. Subsequently, we argue for the inclusion of cluster membership as explanatory variables.

研究の動機と目的

• VLE関与データを用いて、リスク状態にあるSTEM学生を正確に特定する早期警告システムを開発すること。
• そのようなシステムを導入する最適な学期内時期を特定すること。
• 最終成績に対するBARTおよびクラスタリング強化モデルの予測性能を評価すること。
• クラスタメンバーシップが予測モデルにおける説明変数としての価値を評価すること。

提案手法

• 初年度の統計授業におけるBlackboard VLEから得た詳細かつ細分化された学生関与データを活用した。
• 関与パターンとコース成績に基づいて学生をグループ化するためのミックスドモードクラスタリングを適用した。
• 最終成績の主な予測モデルとしてベイジアン加法的回帰木（BART）を採用した。
• モデルの解釈可能性と性能向上のため、クラスタメンバーシップを説明変数として統合した。
• 学期内の異なる時点でのモデル性能を平均絶対誤差（MAE）を用いて評価した。
• 予測精度とデータの入手可能性を踏まえ、5〜6週目を最適な介入ウィンドウとして選定した。

実験結果

リサーチクエスチョン

• RQ1 リスク状態にある学生を特定するための早期警告システムを、学期のどの時点で導入するのが最適か？
• RQ2 6週目までに、VLE関与データを用いて学生の最終成績をどの程度正確に予測できるか？
• RQ3 予測にクラスタメンバーシップを予測変数として含めることで、予測精度が向上するか？
• RQ4 細分化された関与変数は、予測性能の向上にどのような役割を果たすか？

主な発見

• 早期警告システムを導入する最適な時期は、学期の5〜6週目である。
• モデルは、6週目までに最終成績の予測で平均絶対誤差（MAE）2.5パーセンテージポイントを達成した。
• クラスタメンバーシップを説明変数として組み込むことで、モデルの解釈可能性と予測性能が向上した。
• 細分化された関与変数は、予測精度の向上に顕著な寄与を示した。
• BARTは、学生行動データに内在する複雑で非線形な関係を効果的に扱えた。
• 本システムは、大規模な初年度STEM授業への実用的導入の可能性を示している。