[論文レビュー] Time Series Analysis of Clickstream Logs from Online Courses

Yohan Jo, Keith Maki+1 more|arXiv (Cornell University)|Sep 11, 2018

Online Learning and Analytics参考文献 16被引用数 7

ひとこと要約

本稿では、オンラインコースのクリックストリームログを時系列解析することで、LSTMおよびグラフィカルモデルを用いて学生の行動をモデル化し、最終成績を予測する手法を提案する。時系列的なクリックパターンを組み込むことで、静的特徴量に比べて予測精度が著しく向上し、LSTMはベースラインを上回り、異なるコース間で一般化可能であることが示された。

ABSTRACT

Due to the rapidly rising popularity of Massive Open Online Courses (MOOCs), there is a growing demand for scalable automated support technologies for student learning. Transferring traditional educational resources to online contexts has become an increasingly relevant problem in recent years. For learning science theories to be applicable, educators need a way to identify learning behaviors of students which contribute to learning outcomes, and use them to design and provide personalized intervention support to the students. Click logs are an important source of information about students' learning behaviors, however current literature has limited understanding of how these behaviors are represented within click logs. In this project, we have exploited the temporal dynamics of student behaviors both to do behavior modeling via graphical modeling approaches and to do performance prediction via recurrent neural network approaches in order to first identify student behaviors and then use them to predict their final outcome in the course. Our experiments showed that the long short-term memory (LSTM) model is capable of learning long-term dependencies in a sequence and outperforms other strong baselines in the prediction task. Further, these sequential approaches to click log analysis can be successfully imported to other courses when used with results obtained from graphical model behavior modeling.

研究の動機と目的

• 静的および動的クラスタリング手法を用いて、オンラインコースのクリックストリームログから学生の学習行動をモデル化すること。
• クリックシーケンスの時間的ダイナミクスが、非順序的な手法に比べて最終コース成績の予測を改善できるかどうかを調査すること。
• 異なるMOOCで一般化可能な、コースに依存しない行動表現を構築すること。
• 成績が優れている学生と低い学生の間で、順序的な行動にどのような差が生じるかを特定すること。
• 深層学習（LSTM）と従来のモデルが、学生のクリックシーケンスにおける長期依存関係をどれほど効果的に捉えられるかを評価すること。

提案手法

• クリックセグメントを行動状態にクラスタリングするため、多項分布混合モデル（MMM）と隠れマルコフモデル（HMM）を用い、静的および動的パターンをモデル化する。
• 長短期記憶（LSTM）ネットワークを用いて、クリックシーケンスの時間的依存関係をモデル化し、成績予測に応用する。
• クリックパターンから得た特徴量を用いて、順序に依存するモデル（LSTM、HMM）と順序に依存しないモデル（SVM、MLP、MMM）を比較する。
• HMMおよびMMMから得られる状態レベルの特徴量を抽出し、異なるコース間での一般化を可能にする。
• 2つのCourseraコース（代数および微積分）を用い、クリック数および状態数の異なる条件でモデルを評価し、ロバストネスと一般化性能を検証する。
• 分類性能（F1スコア）を主な指標として、異なる特徴量セットおよびシーケンス長におけるモデルの比較を行う。

実験結果

リサーチクエスチョン

• RQ1 学生のクリックストリームシーケンスにおける時間的ダイナミクスは、オンラインコースの成績予測を向上させるために効果的にモデル化可能か？
• RQ2 LSTMのような順序に依存するモデルは、非順序的モデル（例：SVM、MLP）に比べて、最終成績の予測においてどのように優れているか？
• RQ3 1つのコースで学習した行動パターンが、他のコースへどの程度一般化可能か？
• RQ4 オンライン学習環境において、成績が優れている学生と低い学生の間で、順序的な行動にどのような差が生じるか？
• RQ5 グラフィカルモデル（HMM、MMM）は、生のクリック特徴量に比べて、異なるコース間での一般化に優れた行動表現を提供するか？

主な発見

• LSTMモデルは、すべての強力なベースラインを上回り、微積分コースではF1スコア89.46、代数コースでは88.26を達成した。
• 順序に依存するモデル（LSTM、HMM）は、順序に依存しないモデル（SVM、MLP）に比べ、分類精度およびコース間での一般化性能で顕著に優れている。
• LSTMモデルは他のコースへも良好に一般化され、1つのコースで学習した後、別のコースでテストした場合に性能が向上する傾向にあり、学習済みの順序的パターンの転送可能性が示された。
• 高得点の学生はフォーラムへの参加やクイズ提出を積極的に行うが、低得点の学生は講義の視聴やダウンロードにとどまり、課題を完了しない傾向にある。
• 生のクリック特徴量は最も情報量が多いが、コースに依存する。一方、クリックカテゴリは一般化可能ではあるが、予測力はやや低い。これは、時間的モデリングの価値を示している。
• クリックシーケンスにおける時間的情報の活用により、静的クリック数やカテゴリカル特徴量だけでは捉えきれない、成績に関連するダイナミクスが捉えられる。