[論文レビュー] Delving Deeper into MOOC Student Dropout Prediction

Jacob Whitehill, Kiran Mohan+3 more|arXiv (Cornell University)|Feb 21, 2017

Online Learning and Analytics参考文献 20被引用数 50

ひとこと要約

本研究は、トレーニング/テストの設定がMOOCのドロップアウト予測精度に与える影響を評価し、現場での代理ラベルを用いたトレーニングと後付けトレーニングを比較し、深層ニューラルネットがロジスティック回帰より精度を向上させ得ることを示す。

ABSTRACT

In order to obtain reliable accuracy estimates for automatic MOOC dropout predictors, it is important to train and test them in a manner consistent with how they will be used in practice. Yet most prior research on MOOC dropout prediction has measured test accuracy on the same course used for training the classifier, which can lead to overly optimistic accuracy estimates. In order to understand better how accuracy is affected by the training+testing regime, we compared the accuracy of a standard dropout prediction architecture (clickstream features + logistic regression) across 4 different training paradigms. Results suggest that (1) training and testing on the same course ("post-hoc") can overestimate accuracy by several percentage points; (2) dropout classifiers trained on proxy labels based on students' persistence are surprisingly competitive with post-hoc training (87.33% versus 90.20% AUC averaged over 8 weeks of 40 HarvardX MOOCs); and (3) classifier performance does not vary significantly with the academic discipline. Finally, we also research new dropout prediction architectures based on deep, fully-connected, feed-forward neural networks and find that (4) networks with as many as 5 hidden layers can statistically significantly increase test accuracy over that of logistic regression.

研究の動機と目的

• MOOC設定におけるトレーニング/テストの設定がドロップアウト予測精度に与える影響を評価する。
• クリックストリーム特徴量を用いた後付けトレーニング、コース間トレーニング、現場代理ラベルトレーニングを比較する。
• 多くのコースでの訓練と、同分野のコースでの訓練が性能に影響を与えるかを評価する。
• 深いニューラルネットワークがロジスティック回帰よりドロップアウト予測を改善するかを調査する。
• リアルタイムのMOOC介入を支援するための信頼できる精度推定の指針を提供する。

提案手法

• 73の特徴量（デモグラフィックとアクティビティ）からのクリックストリーム特徴を用いて予測モデルを訓練する。
• ベースラインモデル：デモグラフィックのみ、最終相互作用日ヒューリスティック。
• 主要分類器：L2正則化を用いたロジスティック回帰（2層のニューラルネットワークに相当）。
• 4つのトレーニングパラダイムを評価：同一コースでの後付け、同分野のコースでの訓練、多くの他コースでの訓練、および現場代理ラベル訓練。
• 各パラダイムに適切に特徴を正規化（特徴ごとのzスコア変換、現場適用時はパーセンタイル変換）。
• ローンチからCERT適格性までの週ごとにAUCで精度を測定（T0%からT100%まで）。
• Net2Netを用いて深い全結合ニューラルネットワークを実験し、深さ/幅をロジスティック回帰と比較する。

実験結果

リサーチクエスチョン

• RQ1 実際には、トレーニングパラダイムの選択がMOOCのドロップアウト予測精度にどのように影響するか？
• RQ2 現場代理ラベルを用いた訓練法は、完了したコースのデータを使わずに競争力のある精度を達成できるか？
• RQ3 深いニューラルアーキテクチャはMOOCのドロップアウト予測において、ロジスティック回帰より統計的に有意な利得をもたらすか？
• RQ4 予測精度は学問分野をまたいで頑健か？
• RQ5 実世界の運用に向けたMOOCドロップアウト予測子を評価する際の信頼できる実践は何か？

主な発見

• 同一コースでの後付けトレーニングは、平均AUCとして最高の90.20%をもたらす。
• 現場代理ラベル訓練は平均AUC87.33%を達成し、後付けの性能に近く、リアルタイム展開を可能にする。
• 多くの他コースでの訓練は平均AUC85.56%、単一の他分野コースでの訓練（76.85%）を上回る。
• ベースラインのデモグラフィックは予測力が低く（58.85% AUC）、最終相互作用日ベースラインは合理的な性能を示す（82.45% AUC）。
• より深いニューラルネットワーク（5層、各層5ニューロン）は97.55%のAUCを達成し、ロジスティック回帰の97.20%をわずかに上回る（p<0.00001）。
• より深いアーキテクチャは効率的な訓練戦略（Net2Net）を必要とし、大規模なMOOCデータセット上で迅速に訓練できる。