[論文レビュー] Sequence Modelling For Analysing Student Interaction with Educational Systems

Christian Hansen, Casper Worm Hansen+3 more|arXiv (Cornell University)|Aug 14, 2017

Online Learning and Analytics被引用数 9

ひとこと要約

本稿では、教育システム内の学生の相互作用を、複数のマルコフ連鎖の分布としてモデル化する手法を提案する。Edulabの108万件のセッションから得たデータに対して、修正版k-meansクラスタリングアルゴリズムを適用することで、6つの顕著な行動パターンを同定した。そのうち12万5千件のセッションが生産的でない行動を示しており、ユーザーのプロファイル作成やシステム改善のための、単一連鎖モデルよりも洗練された代替手法を提供する。

ABSTRACT

The analysis of log data generated by online educational systems is an important task for improving the systems, and furthering our knowledge of how students learn. This paper uses previously unseen log data from Edulab, the largest provider of digital learning for mathematics in Denmark, to analyse the sessions of its users, where 1.08 million student sessions are extracted from a subset of their data. We propose to model students as a distribution of different underlying student behaviours, where the sequence of actions from each session belongs to an underlying student behaviour. We model student behaviour as Markov chains, such that a student is modelled as a distribution of Markov chains, which are estimated using a modified k-means clustering algorithm. The resulting Markov chains are readily interpretable, and in a qualitative analysis around 125,000 student sessions are identified as exhibiting unproductive student behaviour. Based on our results this student representation is promising, especially for educational systems offering many different learning usages, and offers an alternative to common approaches like modelling student behaviour as a single Markov chain often done in the literature.

研究の動機と目的

• 複雑な教育システムにおける多様な学生の相互作用パターンを捉えることができない単一のマルコフ連鎖モデルの限界を是正すること。
• スケーラブルで解釈可能な方法を確立し、学生行動を複数の潜在的使用パターンの分布としてモデル化すること。
• 学習済みのマルコフ連鎖の定性的な分析を通じて、生産的でないまたは最適でない学生の行動を同定すること。
• 大規模なログデータにおける明確な行動クラスタの特定により、より効果的なシステム改善を可能にすること。

提案手法

• 学生のセッションを、（例：レッスンの視聴、質問への回答など）行動の系列としてモデル化し、それぞれが潜在的な行動パターンに属するものとする。
• 各学生を、複数の1次マルコフ連鎖の分布として表現する。各連鎖は、異なる使用パターンを捉える。
• 大規模データセットにおけるEMアルゴリズムの収束が遅いのを避けるために、修正版k-meansクラスタリングアルゴリズムを用いてクラスタ中心（マルコフ連鎖）を推定する。
• 状態間の遷移確率（例：Qw_c は質問に対する誤答を表す）を用いてクラスタ中心を定義し、ドメイン知識に基づくまたはランダムな初期化により初期中心を改善する。
• デンマークの数学学習プラットフォーム「Edulab」の実際のログデータを用いてクラスタリングを実施。12歳～14歳の学生108万件のセッションを対象とした。
• 得られた連鎖の定性的な分析を通じて、行動パターンを解釈し、反復的な誤答やレッスン後の練習不足といった生産的でない使用行動を検出する。

実験結果

リサーチクエスチョン

• RQ1 学生は、異なるセッションにおいて複数の潜在的使用行動の分布としてどの程度適切にモデル化可能か？
• RQ2 マルコフ連鎖の混合として学生行動をモデル化することで、単一連鎖モデルと比較して、解釈性の向上と生産的でない行動の検出にどの程度寄与するか？
• RQ3 提案されたクラスタリング手法は、大規模な教育ログデータにおいて、明確な行動パターンを効果的に同定できるか？
• RQ4 学習済みのマルコフ連鎖の定性的な解釈から、システム設計や学生の学習に関するどのようなインサイトが得られるか？

主な発見

• 本手法は、6つの顕著なマルコフ連鎖を同定し、それぞれが異なる学生の使用パターンを表している。そのうち12万5千件のセッションが生産的でない行動を示している。
• 連鎖2は最適でないと判明し、繰り返し誤答を行うことと、レッスン後の練習が不足していることが特徴であった。これは、義務的なフォローアップ質問の導入などの干渉の必要性を示唆している。
• 平均して、各学生は6つのセッションタイプのうち3.5つに参加しており、学生ごとの行動の多様性が顕著であることが示され、マルチ・チェーンモデルの必要性が裏付けられた。
• 各連鎖における平均シーケンス長は26.79～44.85の間であり、単一の連鎖が短いまたは長いセッションのみを捉えるのではなく、多様な使用パターンを反映していることが示された。
• 合成データにおいて、修正版k-meansアプローチは、真の生成マルコフ連鎖を効果的に回復できた。これにより、本手法が真の行動パターンを検出できる能力が妥当性をもって裏付けられた。
• 学生をマルコフ連鎖の分布として表すベクトル表現により、行動の変化の検出や学習パスのパーソナライズに、標準的な機械学習手法を適用可能となった。