[論文レビュー] Indicators of Good Student Performance in Moodle Activity Data

Ewa Młynarska, Derek Greene+1 more|arXiv (Cornell University)|Jan 12, 2016

Innovative Teaching and Learning Methods被引用数 16

ひとこと要約

本研究では、60件の大学部コンピュータサイエンス科の課題におけるMoodleのアクティビティログを分析し、優れた学生の成績を示す早期の予測要因を同定した。早期提出、全体的な高いアクティビティ、および夜間のアクティビティが良好な成績の強力な指標であることが判明したが、一部の課題では努力と成績の間に負の相関が見られた。これは、カリキュラム設計や評価方法に問題がある可能性を示唆している。

ABSTRACT

In this paper we conduct an analysis of Moodle activity data focused on identifying early predictors of good student performance. The analysis shows that three relevant hypotheses are largely supported by the data. These hypotheses are: early submission is a good sign, a high level of activity is predictive of good results and evening activity is even better than daytime activity. We highlight some pathological examples where high levels of activity correlates with bad results.

研究の動機と目的

• Moodleログデータを用いて、優れた学生の成績の早期兆候を同定すること。
• 3つの主要仮説の検証：早期提出、高いアクティビティ、および夜間アクティビティが高成績の予測要因であるかどうか。
• 高いアクティビティと低い成績の相関が見られる異常事例の特定。
• 行動パターンに基づき、リスクにさらされている学生を早期に同定することで、的確な学術的支援を支援すること。

提案手法

• 360のコースからMoodleログデータを収集・匿名化し、完全な提出記録を持つ60件の課題に焦点を当てた。
• 提出までの残り時間と成績の間のピアソン相関を計算した。
• Moodleイベントの選別されたサブセット（例：課題を閲覧、提出、ページを閲覧）を用いてアクティビティイベントを定義した。
• 提出の2週間前までのアクティビティイベント数と成績との相関を算出した。
• 活動を昼間（午前8時〜午後6時）と夜間（午後6時〜午前0時）に分けて、予測力の比較を行った。
• 時系列分析を用いて活動パターンを検討し、成績が高めまたは低めのクラスタを特定した。

実験結果

リサーチクエスチョン

• RQ1 Moodleベースの授業において、早期提出はより高い成績と相関しているか？
• RQ2 提出の前におけるMoodleアクティビティの高さは、より良い学業成績を予測できるか？
• RQ3 夜間のアクティビティは、昼間のアクティビティよりも高成績と強い相関を示すか？
• RQ4 高いアクティビティと低い成績の間で負の相関が見られるケースは存在するか？その理由は何か？

主な発見

• 60件の課題のうち42件で、提出までの残り時間と最終成績の間に正の相関が確認され、早期提出が成功の予測要因であることを裏付けた。
• 60件の課題のうち41件で、全体的なアクティビティレベルと成績の間に正の相関が確認され、高い関与度が一般的に良好な成績と関連していることを確認した。
• 夜間アクティビティの成績との平均相関（0.13）は、昼間アクティビティの平均相関（0.07）を上回り、関与のタイミングが重要であることを示した。
• 19件の課題でアクティビティと成績の間に負の相関が観察され、特に1年次コースで顕著であった。これは、時間管理の問題や評価設計の欠陥の可能性を示唆した。
• 3年次コースでは、提出タイミングと成績の間の平均相関が最も高く（0.33）なっており、上級生の時間管理能力の高さを示した。
• 高いアクティビティと低い成績を示す異常事例は、曖昧な締切日、遅刻ペナルティの欠如、または採点基準のアーティファクトと関連していた。これは、コースレベルでの分析の必要性を強調した。