[論文レビュー] Mining MOOC Clickstreams: On the Relationship Between Learner Behavior and Performance

Christopher G. Brinton, Swapna Buccapatnam+2 more|arXiv (Cornell University)|Mar 22, 2015

Online Learning and Analytics参考文献 20被引用数 18

ひとこと要約

本稿では、MOOC動画視聴のクリックストリームを、イベントの順序と位置の訪問に基づいてモデル化する2つのフレームワークを提案し、学習者の行動と成績の関連を明らかにする。繰り返し現れる行動モチーフを同定し、位置ベースのモデルが、特にデータが少ない状況において、初めて正解する確率（CFA）の予測精度とF1スコアを顕著に向上させることを示している。

ABSTRACT

We study student behavior and performance in two Massive Open Online Courses (MOOCs). In doing so, we present two frameworks by which video-watching clickstreams can be represented: one based on the sequence of events created, and another on the sequence of positions visited. With the event-based framework, we extract recurring subsequences of student behavior, which contain fundamental characteris- tics such as reflecting (i.e., repeatedly playing and pausing) and revising (i.e., plays and skip backs). We find that some of these behaviors are significantly associated with whether a user will be Correct on First Attempt (CFA) or not in answering quiz questions. With the position-based framework, we then devise models for performance. In evaluating these through CFA prediction, we find that three of them can substantially improve prediction quality in terms of accuracy and F1, which underlines the ability to relate behavior to performance. Since our prediction considers videos individually, these benefits also suggest that our models are useful in situations where there is limited training data, e.g., for early detection or in short courses.

研究の動機と目的

• 学生のMOOCにおける動画視聴行動と成績の関係を理解すること、特にクイズ正答性との関連を明らかにすること。
• クリックストリームデータからモチーフ発見アルゴリズムを用いて、繰り返し現れる行動パターン（例：復習、反復的思考）を同定すること。
• ベースラインを上回る、行動に基づく成績予測モデルを構築すること。特に、学習データが限られた状況でも有効であることを目的とする。
• イベントのみの表現と比較して、位置に基づくクリックストリーム表現がCFA結果を予測する上で優れているかどうかを評価すること。
• 行動信号と知識習得の関連を結びつけることで、リスクの高い学習者の早期特定を可能にすること。

提案手法

• 著者らは、クリックストリームデータを2つのフレームワークで表現する。1つは、離散的イベント（例：再生、一時停止、スキップ）の順序と時間の量子化に基づくもの。もう1つは、訪問された動画の位置の順序に基づくもの。
• 行動パターンとしてのモチーフ（例：反復的思考、再視聴）を特定するために、再発する部分列を抽出するモチーフ同定アルゴリズムを適用する。
• 成績予測のため、ユーザーの行動を位置間の遷移とイベント間の時間間隔としてエンコードする位置ベースのモデルを構築する。
• 予測性能を、精度とF1スコアを用いて評価し、クイズ履歴のみを用いるベースラインと比較する。
• 個々の動画に対してモデルを訓練・評価することで、データが限られた状況（例：短いコース、早期検出）への適用を可能にする。
• 同定されたモチーフとCFA結果との関連性の有意性を統計的検定で検証する。

実験結果

リサーチクエスチョン

• RQ1 動画視聴のクリックストリームにおける繰り返し現れる行動パターン（例：反復的思考、再視聴）のうち、初めて正解する（CFA）成績と有意に関連しているものは何か？
• RQ2 CFA結果の予測において、位置ベースのクリックストリーム表現はイベントベースの表現よりも優れているか？
• RQ3 行動に基づくモデルは、評価履歴に依存するベースラインを上回り、CFAの予測精度とF1スコアを向上させることができるか？
• RQ4 反復的思考や再視聴といった特定の行動モチーフが、効果的な学習や知識習得の強力な予測信号となるか？
• RQ5 これらのモデルは、短いコースや新規MOOCにおける早期検出のような、データが少ない状況にもどれほど一般化可能か？

主な発見

• 反復的再生・一時停止（「反復的思考」）や、再生後に戻ってスキップする（「再視聴」）といった繰り返し現れる行動モチーフが、CFAまたは非CFA結果と有意に関連しており、直感に反する場合でさえも同様であった。
• 位置ベースのモデルが3つ存在し、ベースラインを上回ってCFAの予測精度とF1スコアを向上させた。行動パターンが成績の強力な予測要因であることが示された。
• 個々の動画に焦点を当てた場合でも、先行研究より高い改善が得られており（例：ベースライン比3%の向上）、予測性能の向上は顕著であった。
• モデルがデータが少ない状況でも有効であることは、困難な学習者や個別化されたコンテンツ配信のための早期検出に強い可能性を示している。
• 動画視聴行動、特に位置の遷移とイベント間隔が、知識習得の意味のある信号を含んでいることが確認された。
• 位置ベースのフレームワークは、ユーザーが特定の動画セグメントにどれほど長く滞在しているかといった、より洗練された学習ダイナミクスを捉えられ、イベントのみのモデルを上回った。