[論文レビュー] Mining MOOC Clickstreams: On the Relationship Between Learner Video-Watching Behavior and Performance.

Christopher G. Brinton, Swapna Buccapatnam+2 more|arXiv (Cornell University)|Mar 22, 2015

Online Learning and Analytics参考文献 20被引用数 13

ひとこと要約

本稿では、MOOC受講生の動画視聴行動をモデル化し、クイズ問題への正答率を予測する2つのクリックストリームフレームワーク—イベントベース型と位置ベース型—を提案する。繰り返しの行動パターン、たとえば確認・再視聴（reflecting）や再び戻って視聴（revising）といった行動が、初回試行での正答（CFA）と関連していることが判明した。位置ベース型モデルは、特にデータが少ない状況（短いコースや早期検出）において、CFA予測の精度とF1スコアを向上させ、有用である。

ABSTRACT

We study student behavior and performance in two Massive Open Online Courses (MOOCs). In doing so, we present two frameworks by which video-watching clickstreams can be represented: one based on the sequence of events created, and another on the sequence of positions visited. With the event-based framework, we extract recurring subsequences of student behavior, which contain fundamental characteris- tics such as reflecting (i.e., repeatedly playing and pausing) and revising (i.e., plays and skip backs). We find that some of these behaviors are significantly associated with whether a user will be Correct on First Attempt (CFA) or not in answering quiz questions. With the position-based framework, we then devise models for performance. In evaluating these through CFA prediction, we find that three of them can substantially improve prediction quality in terms of accuracy and F1, which underlines the ability to relate behavior to performance. Since our prediction considers videos individually, these benefits also suggest that our models are useful in situations where there is limited training data, e.g., for early detection or in short courses.

研究の動機と目的

• MOOCにおける受講生の動画視聴行動が、クイズ問題へのパフォーマンスにどのように関連しているかを理解すること。
• 特に短いコースや初期段階のコースにおいて、限られた学習データをもとに受講生のパフォーマンスを予測する課題に対処すること。
• クリックストリームデータに内在する意味のある行動パターンを捉えることができる行動表現フレームワークを開発すること。
• クリックストリームから抽出した行動特徴が、初回試行での正答（CFA）の予測をどの程度向上させるかを評価すること。

提案手法

• イベントベース型フレームワークは、クリックストリームデータを（例：再生、一時停止、スキップなど）の行動列としてモデル化し、反射や再視聴といった行動を表す繰り返し部分列を抽出する。
• 位置ベース型フレームワークは、動画視聴を再生位置の列として表現し、学習者の進行状況や再訪問パターンをモデル化可能にする。
• 行動部分列は、繰り返し再生や後退ナビゲーションなどのパターンを検出するためのシーケンスマイニング技術を用いて同定される。
• パフォーマンス予測モデルは、位置ベース表現を用いて構築され、行動特徴を組み込んでCFA結果を予測する。
• 標準的な指標（正解率とF1スコア）を用いて、CFA予測タスクにおけるベースライン手法との比較評価が行われる。
• 本手法は、限られた学習データでも有効であるように設計されており、早期検出や短いコースへの応用を支援する。

実験結果

リサーチクエスチョン

• RQ1 反射（繰り返し再生・一時停止）や再視聴（再生後に戻って視聴）といった繰り返しの動画視聴行動は、初回試行での正答（CFA）と有意に関連しているか？
• RQ2 クリックストリームデータをどのように効果的に表現すれば、MOOC動画視聴における意味のある学習行動を捉えることができるか？
• RQ3 行動に基づくモデルは、ベースラインモデルと比較して、CFA結果の予測をどの程度向上させることができるか？
• RQ4 提案されたモデルは、早期検出や短いコースのような低データ環境でも高い性能を維持できるか？

主な発見

• 反射（繰り返し再生・一時停止）や再視聴（再生後に戻って視聴）といった繰り返しの行動パターンは、受講生がクイズを初回試行で正しく回答するかどうかと有意に関連している。
• 位置ベース型パフォーマンス予測モデルのうち3つが、ベースラインモデルと比較して正解率とF1スコアの両方で顕著な向上を示した。
• 向上した予測品質は、動画視聴行動がパフォーマンス推定に意味のあるシグナルを含んでいることを示している。
• 低データ環境におけるモデルの有効性は、早期パフォーマンス検出や短い、あるいは新規のMOOCへの応用において強い可能性を示している。
• イベントベース型フレームワークは、学習成果と関連する基本的な行動的特徴を効果的に同定できた。
• 位置ベース型モデリングアプローチにより、個々の動画レベルでのパフォーマンス予測が高精度に可能となり、解釈可能性と実用的価値が向上した。