[論文レビュー] Predicting Student Performance Based on Online Study Habits: A Study of Blended Courses

Adithya Sheshadri, Niki Gitinabard+3 more|arXiv (Cornell University)|Apr 15, 2019

Online Learning and Analytics被引用数 19

ひとこと要約

本研究では、3つのブレンド型コンピュータサイエンスコースにおいて、LMS、フォーラム、バージョン管理、宿題システムの4つのプラットフォームを通じてオンライン学習行動を分析し、学生の成績を予測する。学生は通常、一度に一つのプラットフォームのみを用いることが多く、提出締切に近づくと一貫した行動パターンを示す。初期の行動特徴（例：セッション間のギャップ）は、中程度の精度で最終成績を有意に予測する。

ABSTRACT

Online tools provide unique access to research students' study habits and problem-solving behavior. In MOOCs, this online data can be used to inform instructors and to provide automatic guidance to students. However, these techniques may not apply in blended courses with face to face and online components. We report on a study of integrated user-system interaction logs from 3 computer science courses using four online systems: LMS, forum, version control, and homework system. Our results show that students rarely work across platforms in a single session, and that final class performance can be predicted from students' system use.

研究の動機と目的

• ブレンド型コースにおける学生が複数のオンライン学習プラットフォームをどのように使用するかを分析し、その学習行動のパターンを同定すること。
• 学生が一度に複数のプラットフォームで作業するのではなく、1つのプラットフォームに集中するのかを特定すること。
• 学習行動がコースの締切に関連する明確なパターンを示すかどうかを調査すること。
• オンライン学習行動が、早期検出の可能性を有する最終成績を予測できるかどうかを評価すること。
• ログ記録された相互作用から、効果的・非効果的な学習行動を特定することで、自動フィードバックや教員の支援を可能にすること。

提案手法

• Moodle（LMS）、Piazza（フォーラム）、GitHub Enterprise（バージョン管理）、WebAssign（宿題システム）の4つのプラットフォームから、異種のユーザ-システム相互作用ログを収集および統合した。
• 相互作用間の時間的ギャップに実証的カットオフ値を適用し、学習セッションとブラウザセッションに個々の行動をグループ化した。
• 最終成績に基づいて、成績上位グループと下位グループに学生を分類した。
• セッション頻度、継続時間、セッション間ギャップ、および締切からのタイミングなどの行動特徴を抽出した。
• 初期学期の行動特徴を用いて機械学習分類器（例：ロジスティック回帰、ランダムフォレスト）を訓練し、最終成績を予測した。
• 交差検証を用いて予測を検証し、最も予測に寄与する行動特徴を特定するための特徴量の重要度を評価した。

実験結果

リサーチクエスチョン

• RQ1 学生は一度に一つのツールに集中するのか、それとも一度のセッション内で複数のプラットフォームで作業するのか？
• RQ2 学生のオンライン学習行動は、コースの締切に基づいて明確なパターンを示すのか？
• RQ3 学生の観察された学習行動は、最終成績を予測するために利用できるのか？

主な発見

• 学生はほとんどが一度に一つのプラットフォームのみを用いることが多く、一度のセッション内で複数プラットフォームを同時に使用するケースは極めて稀であり、プラットフォームの分離（silos）が強いことが示された。
• 学習セッションおよびブラウザセッションの頻度は、課題の締切に近づくと急激に上昇し、その後急激に低下するため、一貫した締切に依存する行動パターンが確認された。
• 平均セッションギャップやセッション頻度といった重要な行動特徴が、最終成績と有意に相関しており、最初の数週間の測定でもその相関が確認された。
• 初期学期の行動データを用いて訓練した予測モデルは、最終成績の予測において良好な精度を示し、早期干渉の可能性を示した。
• 最も予測に寄与する特徴は、参加のタイミングと一貫性に関連したものであり、特に毎日の継続的活動やセッションギャップの短縮といった特徴が顕著だった。使用量の合計とは異なり、これは総合的な利用量よりも重要であった。
• 対面授業のログが不完全であったにもかかわらず、統合されたオンラインデータが意味のある成績予測に十分な信号を提供した。