[論文レビュー] Predicting student performance using data from an auto-grading system

Huanyi Chen, Paul A. S. Ward|arXiv (Cornell University)|Feb 2, 2021

Online Learning and Analytics被引用数 7

ひとこと要約

本研究では、プログラミングコースにおけるMarmoset自動採点データを用いて、意思決定木と線形回帰を用いて学生の成績を予測する。提出時刻間隔（学生の最初の妥当な提出から締切までの時間）が、成績が悪い学生を特定するための最も強力な予測子として浮き彫りになり、他の特徴量よりも精度とF値で優れている。

ABSTRACT

As online auto-grading systems appear, information obtained from those systems can potentially enable researchers to create predictive models to predict student behaviour and performances. In the University of Waterloo, the ECE 150 (Fundamentals of Programming) Instructional Team wants to get an insight into how to allocate the limited teaching resources better to achieve improved educational outcomes. Currently, the Instructional Team allocates tutoring time in a reactive basis. They help students "as-requested". This approach serves those students with the wherewithal to request help; however, many of the students who are struggling do not reach out for assistance. Therefore, we, as the Research Team, want to explore if we can determine students which need help by looking into the data from our auto-grading system, Marmoset. In this paper, we conducted experiments building decision-tree and linear-regression models with various features extracted from the Marmoset auto-grading system, including passing rate, testcase outcomes, number of submissions and submission time intervals (the time interval between the student's first reasonable submission and the deadline). For each feature, we interpreted the result at the confusion matrix level. Specifically for poor-performance students, we show that the linear-regression model using submission time intervals performs the best among all models in terms of Precision and F-Measure. We also show that for students who are misclassified into poor-performance students, they have the lowest actual grades in the linear-regression model among all models. In addition, we show that for the midterm, the submission time interval of the last assignment before the midterm predicts the midterm performance the most. However, for the final exam, the midterm performance contributes the most on the final exam performance.

研究の動機と目的

• 自動採点システムのデータが、プログラミングコースにおける学生の成績を予測できるかどうかを調査すること。
• 中間試験および最終試験の成績と関連する学生の提出行動のパターンを特定すること。
• 失敗する前に対象となる学生を予測することで、予防的教育リソースの配分を支援すること。

提案手法

• 合格率、テストケースの結果、提出回数、提出時刻間隔（STI）を含むMarmoset自動採点データを収集した。
• C4.5意思決定木アルゴリズムを用いて、試験成績に基づき、成績が優、満足、不良の3カテゴリに学生を分類した。
• 線形回帰を用いて、STIを主な特徴量として使用し、中間試験および最終試験の数値成績を予測した。
• 誤分類された不良成績の学生に特に注目し、精度、再現率、F値、平均絶対誤差を用いてモデルを評価した。
• 課題および試験ごとに特徴量の重要度を比較し、予測に有効な時間窓を特定した。
• 予測された数値成績を成績カテゴリに変換し、不良成績者に対する分類性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 Marmoset自動採点データは、提出行動に基づいて成績カテゴリ（優、満足、不良）を予測できるか？
• RQ2 自動採点システムのログから得られる特徴量を用いて、中間試験および最終試験の数値成績を予測できるか？
• RQ3 Marmosetの特徴量（例：提出時刻間隔、テストケースの結果）の中で、学生の成績を最もよく予測できるのはどれか？
• RQ4 提出時刻が締切に近いかどうかが、試験成績とどのように相関するか？
• RQ5 提出時刻間隔（STI）は、リスクの高い学生を特定するうえで、どれほど予測力があるか？

主な発見

• STIを特徴量として使用した線形回帰モデルは、中間試験および最終試験の両方において、不良成績の学生を予測するうえで、最も高い精度とF値を達成した。
• STIに基づく線形回帰モデルによって誤って不良成績と予測された学生は、実際の成績が最も低く、モデルのキャリブレーションが良好であることを示している。
• 中間試験の成績予測において、試験直前の課題が中間試験成績と最も高い相関（r = 0.72）を示した。
• 最終試験の成績予測において、中間試験成績が最終試験得点と最も強い相関（r = 0.72）を示した。
• 線形回帰モデルは、中間試験成績を平均誤差-5.76点（標準偏差 = 16.44）で予測し、最終試験成績を平均誤差+0.92点（標準偏差 = 17.12）で予測した。
• 合格率およびテストケースの結果に基づく意思決定木モデルは強いバイアスを示し、中間試験の予測において、不良成績の学生を1人も正しく特定できなかった。