[論文レビュー] Modelling Student Behavior using Granular Large Scale Action Data from a MOOC

Steven Tang, Joshua C. Peterson+1 more|arXiv (Cornell University)|Aug 16, 2016

Online Learning and Analytics参考文献 10被引用数 14

ひとこと要約

本論文では、修了者からの細分化された順序付きインタラクションデータを用いて、MOOCにおける学生の行動をn-gramおよびLSTMモデルで予測する手法を提案する。最良のLSTMモデルは、72.2%の正確度を達成し、n-gram（70.4%）およびシラバスベースの予測（23%）を上回った。これは、成功した学習者の行動パターンが、デジタル教育分野におけるパーソナライズド推薦システムの構築に寄与することを示している。

ABSTRACT

Digital learning environments generate a precise record of the actions learners take as they interact with learning materials and complete exercises towards comprehension. With this high quantity of sequential data comes the potential to apply time series models to learn about underlying behavioral patterns and trends that characterize successful learning based on the granular record of student actions. There exist several methods for looking at longitudinal, sequential data like those recorded from learning environments. In the field of language modelling, traditional n-gram techniques and modern recurrent neural network (RNN) approaches have been applied to algorithmically find structure in language and predict the next word given the previous words in the sentence or paragraph as input. In this paper, we draw an analogy to this work by treating student sequences of resource views and interactions in a MOOC as the inputs and predicting students' next interaction as outputs. In this study, we train only on students who received a certificate of completion. In doing so, the model could potentially be used for recommendation of sequences eventually leading to success, as opposed to perpetuating unproductive behavior. Given that the MOOC used in our study had over 3,500 unique resources, predicting the exact resource that a student will interact with next might appear to be a difficult classification problem. We find that simply following the syllabus (built-in structure of the course) gives on average 23% accuracy in making this prediction, followed by the n-gram method with 70.4%, and RNN based methods with 72.2%. This research lays the ground work for recommendation in a MOOC and other digital learning environments where high volumes of sequential data exist.

研究の動機と目的

• 評価ベースの知識トレーシングを越えて、細分化された順序付き行動データを用いたMOOCにおける学生行動のモデル化を目的とする。
• MOOCを修了した学生の間でのナビゲーションパターンを特定することを目的とする。
• 過去の行動に基づいて次の学生行動を予測する生成モデルを構築し、自動推薦システムに活用することを目的とする。
• n-gramモデルとLSTMモデルの、大規模なMOOC環境における学生行動予測性能を比較することを目的とする。
• 修了者から学習したモデルが、修了していない学生の行動を予測する際に一般化可能かどうかを評価し、行動の違いを明らかにすることを目的とする。

提案手法

• 本研究では、1つのMOOCから得られた1,100万件を超える学生行動データ（動画視聴、クイズ操作、フォーラム活動など）を用いた。
• 成功した学習行動をモデル化するため、コース修了証明書を取得した学生のみを訓練に使用した。
• n-gramモデルは、過去n回の行動に基づいて次の行動を予測し、nは最大10までとする。確率推定には頻度ベースの手法を用いた。
• LSTMベースの再帰的ニューラルネットワークは、順序付き行動履歴を処理し、行動における長期依存関係を学習する。
• モデルの評価には、修了者を対象とした10分割交差検証を実施し、30件以上の行動を有する保留済みの非修了者データセットを用いてテストした。
• ハイパーパrameterチューニングには、学習率、LSTM層の数、隠れユニット数を含み、最良のモデルで72.2%の正確度を達成した。

実験結果

リサーチクエスチョン

• RQ1 n-gram やLSTMといった順序付きモデルは、過去の行動に基づいてMOOCにおける次の学生行動を効果的に予測できるか？
• RQ2 大規模な教育環境において、LSTMモデルの性能はn-gramモデルと比べてどのように異なるか？
• RQ3 成功した学生は、ランダムまたは非構造的な行動と比較して、どの程度構造的なナビゲーションパターンに従っているか？
• RQ4 修了者から学習したモデルは、非修了者の行動を予測する際に一般化可能か。また、これにより行動の違いがどのように明らかになるか？
• RQ5 長期間のコンテキスト窓（例：10-gram）は、学生行動モデル化における予測正確度にどの程度寄与するか？

主な発見

• 最良のLSTMモデルは、72.23%の交差検証正確度を達成し、n-gramモデルの70.35%を大きく上回った。
• 10-gramを用いたn-gramモデルは、全予測の62%以上を占め、成功した学習者において長い順序付きパターンに強く依存していることを示した。
• シラバスベースの予測はわずか23%の正確度にとどまり、成功したナビゲーションが直線的なコース構造とは逸脱していることを示している。
• LSTMモデルは、30件以上の行動を有する非修了者に対して67.09%の正確度を達成したのに対し、修了者では70.93%であった。これは、成功した学習者とそうでない学習者との間で行動パターンの違いがあることを示唆している。
• モデルの合意度分析から、LSTMとn-gramモデルは7,565,862件の正解予測で一致したが、LSTMは577,683件、n-gramは367,960件の誤り予測をそれぞれ示した。これは、両モデルが相補的な強みを有していることを示している。
• 10-gramを超えてn-gramのサイズが大きくなるにつれ、予測に使用されるデータポイントが6%減少した。これは、あるコンテキスト長を超えると収益が減少する傾向にあることを示唆している。