[論文レビュー] Your click decides your fate: Inferring Information Processing and Attrition Behavior from MOOC Video Clickstream Interactions

Tanmay Sinha, Patrick Jermann+2 more|arXiv (Cornell University)|Jul 26, 2014

Online Learning and Analytics被引用数 5

ひとこと要約

本稿では、認知心理学にインspiredされた情報処理インデックス（IPI）を提案し、MOOC動画のクリックストリームデータから学生の関与度を定量化し、離脱を予測する。クリック行動を高次元の認知状態にモデル化することで、IPIは高関与と低関与の学生を効果的に区別し、高いIPIは33％の離脱リスク低減と37％の全体的なコース離脱リスク低減と関連していることが示された。

ABSTRACT

In this work, we explore video lecture interaction in Massive Open Online Courses (MOOCs), which is central to student learning experience on these educational platforms. As a research contribution, we operationalize video lecture clickstreams of students into cognitively plausible higher level behaviors, and construct a quantitative information processing index, which can aid instructors to better understand MOOC hurdles and reason about unsatisfactory learning outcomes. Our results illustrate how such a metric inspired by cognitive psychology can help answer critical questions regarding students' engagement, their future click interactions and participation trajectories that lead to in-video & course dropouts. Implications for research and practice are discussed

研究の動機と目的

• 学生がMOOC動画講義の間、どのように情報を処理しているかを、クリックストリーム相互作用の分析によって理解すること。
• MOOCにおける高い離脱率に対処するため、学生の離脱の早期行動的兆候をクリックストリームデータを用いて同定すること。
• 計算的に単純でありながら効果的な指標「情報処理インデックス（IPI）」を開発し、認知的関与度と学習の継続性を反映すること。
• 教員が学生の離脱トレースを予測し、リアルタイムの動画相互作用パターンに基づいて介入をカスタマイズできるようにすること。
• 低レベルのクリック行動を、学習分析の向上に寄与する認知的に妥当な高次元の視聴状態に操作化すること。

提案手法

• 繰り返し現れる相互作用パターンに基づき、生の動画クリックストリームデータを高次元の認知的動画視聴状態に操作化する。
• 情報処理インデックス（IPI）を、再生／一時停止、シーク、巻き戻し、早送りといった主要なクリック行動の線形加重和として定義する。
• 階層的3段階分析を用いて、認知心理学の原則に基づいたクリックパターンからマイクロレベルの認知状態をモデル化する。
• 生存分析（コックス比例ハザードモデル）を用いて、IPIおよび他のクリック行動が動画内離脱およびコース離脱に対する予測力を持つかどうかを評価する。
• z検定を実施し、学生のグループ（例：離脱者 vs. 非離脱者、視聴者 vs. プレイヤー）間の平均IPI値を比較して、統計的有意性を検証する。
• ヒストограмと平均IPIプロットを用いて、異なる動画講義および学生グループにおけるIPIの変動を可視化し、識別力の評価を行う。

実験結果

リサーチクエスチョン

• RQ1 低レベルの動画クリックストリーム相互作用を、認知的に妥当な高次元の行動にどのようにモデル化できるか？
• RQ2 情報処理インデックス（IPI）は、MOOC動画講義における将来の関与度と離脱行動をどの程度正確に予測できるか？
• RQ3 関与度や離脱結果の異なる学生グループ間で、IPI値にどのような差が生じるか？
• RQ4 IPIは、動画内離脱者と非離脱者、およびコース離脱者と非離脱者を効果的に区別できるか？
• RQ5 巻き戻し行動と長期的なコース継続性の間にはどのような関係があるか？

主な発見

• 高いIPI値を示す学生は、著しく離脱リスクが低く、動画視聴割合の増加に対してハザード比が0.6334（p < 0.001）である。
• 低巻き戻し行動から高巻き戻し行動にシフトすると、離脱リスクが33％低減し、ハザード比は0.6734（p < 0.001）である。
• IPIは非離脱者と離脱者を有意に区別する（|z| = 9.06, p < 0.01）、非離脱者の平均IPIがより高い。
• 動画内離脱者よりも非動画内離脱者の平均IPIが有意に高い（|z| = 22.54, p < 0.01）、これは、退会前により強い認知的処理が行われていたことを示唆する。
• 高関与者では低関与者よりも有意に高い平均IPIを示す（|z| = 8.296, p < 0.01）、IPIの関与度レベルへの感受性を確認した。
• アクティブユーザーのIPIは視聴者よりも低い（|z| = 10.45, p < 0.01）、視聴者が主にインタラクションを行うモードのため、動画処理により多くの認知的エネルギーを費やしている可能性を示唆する。