[論文レビュー] Dropout Prediction over Weeks in MOOCs by Learning Representations of Clicks and Videos

Byungsoo Jeon, Namyong Park|arXiv (Cornell University)|Feb 5, 2020

Online Learning and Analytics参考文献 17被引用数 8

ひとこと要約

本稿では、教師なし事前学習を用いてクリックストリームデータと動画コンテンツの共同表現を学ぶ、MOOCにおけるドロップアウト予測モデルを提案する。クリックn-gramと動画の相関をモデル化することで、ベースラインのクリックのみモデルよりも顕著に向上し、AUCが78.4%に達する。クリックn-gramの事前学習は有益であり、動画埋め込み表現は追加の利益をもたらす。

ABSTRACT

This paper addresses a key challenge in MOOC dropout prediction, namely to build meaningful representations from clickstream data. While a variety of feature extraction techniques have been explored extensively for such purposes, to our knowledge, no prior works have explored modeling of educational content (e.g. video) and their correlation with the learner's behavior (e.g. clickstream) in this context. We bridge this gap by devising a method to learn representation for videos and the correlation between videos and clicks. The results indicate that modeling videos and their correlation with clicks bring statistically significant improvements in predicting dropout.

研究の動機と目的

• 学習者のクリックストリーム行動と教育的動画コンテンツの相関を捉えることで、MOOCにおけるドロップアウト予測を改善すること。
• 手作業で特徴を設計する手法やエンドツーエンドモデルの限界を克服し、クリックストリームデータに内在する意味のある時間的およびコンテンツ固有のパターンを捉えること。
• クリックシーケンスと動画コンテンツを同時にモデル化する教師なし表現学習フレームワークを構築し、ドロップアウト予測における一般化性能を向上させること。
• クリックストリームデータから動画埋め込み表現を事前学習することで、下流の予測性能が向上するかを検証すること。
• プラットフォームに依存しない、解釈可能で時間的認識を持つ学習者行動とコンテンツ特徴の表現を提供すること。

提案手法

• 教師なし事前学習目的を用いて、クリックn-gramと動画の両方の表現を学ぶ二重エンコーダー構造を提案する。
• GRUベースのモデルを用いて、クリックn-gramの順序系列を固定長ベクトルに符号化し、周囲のクリックn-gramをマスクして予測する方法で事前学習を行う。
• 文脈ウィンドウ間の一致度を最大化することで、クリックn-gram表現を対照的学習により学習する目的関数を適用する。
• クリックn-gramシーケンスから動画ラベルを予測する分類器を学習することで、動画埋め込み表現を事前学習し、最終層のargmaxにより最適な動画表現を選択する。
• 事前学習済みのクリックn-gramと動画埋め込み表現を、GRUと最終分類層を用いて統合し、統一されたドロップアウト予測モデルを構築する。
• 両事前学習段階で交差エントロピー損失を用いる：一つはクリックn-gramの再構築用、もう一つは動画ラベル予測用。

実験結果

リサーチクエスチョン

• RQ1 学習者のクリックストリーム行動と動画コンテンツの相関をモデル化することで、MOOCにおけるドロップアウト予測が向上するか？
• RQ2 クリックn-gram表現の教師なし事前学習が、予測性能を向上させる意味のある時間的パターンを捉えられるか？
• RQ3 クリックストリームデータのみから効果的に動画埋め込み表現を学習できるか、そしてそれがドロップアウト予測を向上させるか？
• RQ4 AUC向上の観点から、動画表現を含めたモデルとクリックのみのモデルを比較すると、どの程度の差が生じるか？
• RQ5 事前学習済みのクリックn-gram埋め込み表現と組み合わせた場合、動画埋め込み表現による性能向上が一貫して得られるか？

主な発見

• クリックn-gram埋め込みの事前学習により、AUCが0.740から0.757に統計的に有意に向上（p < 0.05）し、学習された時間的パターンの価値を示している。
• 事前学習済みのクリックn-gramモデルに動画埋め込み表現を追加することで、AUCが0.784に上昇し、動画コンテンツとの相関が予測性能を向上させることを示している。
• クリックおよび動画埋め込み表現を両方とも事前学習した場合、AUCは0.783にとどまり、さらなる向上が認められない。これは、現在の目的関数下では動画の事前学習が追加価値をもたらさないことを示唆している。
• 動画の事前学習による向上が見られないことは、現在のラベル予測目的関数では、クリックストリームデータがノイズが多く、あるいは表現を十分に学習できる情報量が不足している可能性を示している。
• 事前学習済みのクリックn-gramと非事前学習済みの動画埋め込み表現を組み合わせたモデルが、AUC 0.784を達成し、すべてのベースラインを上回る最先端の性能を示している。
• 学習者行動とコンテンツ特徴の相互作用をモデル化することが、行動やコンテンツを個別にモデル化するのよりも効果的であることが結果から確認された。