[論文レビュー] GritNet: Student Performance Prediction with Deep Learning

Byung‐Hak Kim, Ethan Vizitei+1 more|arXiv (Cornell University)|Apr 19, 2018

Online Learning and Analytics参考文献 7被引用数 87

ひとこと要約

GritNetは学生の成績予測を連続イベント予測として扱い、埋め込みとGMP層を持つBLSTMを用いて、生の時刻付きイベントから将来の卒業可能性を予測し、特に初期週においてロジスティック回帰のベースラインを上回る。

ABSTRACT

Student performance prediction - where a machine forecasts the future performance of students as they interact with online coursework - is a challenging problem. Reliable early-stage predictions of a student's future performance could be critical to facilitate timely educational interventions during a course. However, very few prior studies have explored this problem from a deep learning perspective. In this paper, we recast the student performance prediction problem as a sequential event prediction problem and propose a new deep learning based algorithm, termed GritNet, which builds upon the bidirectional long short term memory (BLSTM). Our results, from real Udacity students' graduation predictions, show that the GritNet not only consistently outperforms the standard logistic-regression based method, but that improvements are substantially pronounced in the first few weeks when accurate predictions are most challenging.

研究の動機と目的

• オンライン講座における適時の介入を可能にするため、学生の卒業を正確かつ早期に予測する動機付け。
• 学生の成績予測を連続イベント予測問題として再定義し、過度な特徴量設計を伴わず深層学習を適用する。
• GritNetがロジスティック回帰ベースラインより卒業予測を改善することを示し、特にコースの最初の週での改善を示す。
• 実際のUdacity Nanodegreeデータに対してGritNetを評価し、早期予測力と不均衡データへの頑健性を評価する。

提案手法

• 時刻付きの学生行動をワンホットエンコーディングと離散化したイベント間時間で固定長入力にエンコードする。
• 学習可能な埋め込み行列でイベントを埋め込み、密な表現を作成する。
• 双方向LSTM層を用いて時間的文脈を捉える。
• 全体最大プーリング(GMP)層を適用し、密な出力の前に系列の識別的な部分に焦点を当てる。
• 負の対数尤度（二項交差エントロピー）で学習し、正則化のためドロップアウトを使用する。
• 特徴量としてbag-of-wordsを用いたロジスティック回帰ベースラインと比較し、5分割交差検証を行う。

実験結果

リサーチクエスチョン

• RQ1 部分的な学生イベント履歴から最終的な卒業を、ロジスティック回帰ベースラインよりも正確に予測できるか？
• RQ2 GMP層は不均衡データと可変長イベント系列の下で予測性能を向上させるか？
• RQ3 GritNetは基準と比較して、どの程度早い段階（週単位）に優れた卒業予測を提供できるか？
• RQ4 カリキュラムや卒業率が異なる複数のUdacity Nanodegreeデータセットにおいて、GritNetはどう性能を示すか？

主な発見

• GritNetはND-AとND-Bのデータセットの全週で、ロジスティック回帰ベースラインより高い予測精度を達成する。
• GritNetは早期週（week 1 for ND-A; week 3 for ND-B）でAUCが絶対値で5.0ポイント以上改善される。
• ND-Bでは、ベースラインは同じ性能に達するために8週間のデータを要するが、GritNetは3週間のデータで達する。
• GMPはデータの不均衡に対処し、GMPなしの標準BLSTMと比較して予測力を向上させる。
• GritNetは初期段階で強力な予測力を示し、介入のためのフィードバックループを速くする。