[論文レビュー] Dropout Prediction over Weeks in MOOCs via Interpretable Multi-Layer Representation Learning

Byungsoo Jeon, Namyong Park+1 more|arXiv (Cornell University)|Feb 5, 2020

Online Learning and Analytics参考文献 18被引用数 7

ひとこと要約

本稿では、週次クリックストリームデータに基づき、今後1週間以内にMOOCでの離脱が予測可能な解釈可能で多層的な表現学習モデルを提案する。ノイズに強く、教師なしで高レベルの行動行動を学習することで、手動による特徴工学を回避し、複雑なタスク特化型モデルと同等の性能を達成すると同時に、離脱に関連する重要な行動パターンの解釈が可能である。

ABSTRACT

Massive Open Online Courses (MOOCs) have become popular platforms for online learning. While MOOCs enable students to study at their own pace, this flexibility makes it easy for students to drop out of class. In this paper, our goal is to predict if a learner is going to drop out within the next week, given clickstream data for the current week. To this end, we present a multi-layer representation learning solution based on branch and bound (BB) algorithm, which learns from low-level clickstreams in an unsupervised manner, produces interpretable results, and avoids manual feature engineering. In experiments on Coursera data, we show that our model learns a representation that allows a simple model to perform similarly well to more complex, task-specific models, and how the BB algorithm enables interpretable results. In our analysis of the observed limitations, we discuss promising future directions.

研究の動機と目的

• 週次クリックストリームデータのみを用いて、MOOC学習者が今後1週間以内に離脱するかどうかを予測すること。
• 生で未構造化されたクリックストリームデータから意味的でノイズに強い行動パターンを抽出する課題に対処すること。
• 教師なしで表現を学習することで、主観的で時間がかかる手動による特徴工学への依存を排除すること。
• 特に、離脱を予測する上で顕著な行動パターン（例：前進シーク、巻き戻し）を明確に示す解釈可能な結果を生成すること。
• 変動するクリックストリーム長や週ごとの不規則なユーザー行動パターンに対しても耐性を持つフレームワークの構築

提案手法

• 統計的有意性とtスコアに基づき、代表的なクリックストリーム行動（例：SeekFw、SeekBw、Pause）の上位k個を特定するように変更されたブランンチアンドバウンズ（BB）アルゴリズムを適用する。
• 上位k個の行動を入力特徴として、連続する週にわたる文脈依存的表現学習を実行する多層パーセプトロン（MLP）を用いる。
• 各週のクリックストリームを、順序構造を保持しつつノイズを低減した高レベル行動行動の系列として表現する。
• MLP-LFRモデルを教師なしで訓練し、週間の間の時間的依存関係を捉える表現を学習する。
• BBで特定された行動を統合された表現に統合し、シンプルなモデルによる下流分類を可能にする。
• 解釈可能性を確保し、学習された行動に誤ったパターンが含まれるのを防ぐために、統計的仮説検定からのtスコアとp値を用いる。

実験結果

リサーチクエスチョン

• RQ1 教師なしで解釈可能な表現学習手法は、週次クリックストリームデータのみを用いてMOOCにおける離脱予測を効果的に実行できるか？
• RQ2 上位でランク付けされた行動パターン（例：前進シーク、巻き戻し）は離脱リスクとどのように相関しているか。また、ラベル付けなしに信頼性を持って抽出可能か？
• RQ3 BBベースの表現学習手法は、複雑なタスク特化型モデルと比較して、離脱予測の正確性で優れているか、同等の性能を示すか？
• RQ4 連続する週にわたる時間的文脈を考慮した場合、モデルの性能はどのように変化するか？
• RQ5 MOOCにおけるクリックストリーム表現の単位として「1週間」を採用することの限界は何か？

主な発見

• BBベースのモデルは、教師なしで学習されているにもかかわらず、複雑なタスク特化型モデルと同等の性能を達成している。
• 上位でランク付けされた行動（例：SeekFw、SeekBw、Pause）は、極めて高い統計的有意性（p値 < 5.4e-15）を示し、一貫して離脱リスクと関連している。
• MLP-LFR部は性能向上に寄与しないことが多く、順序情報の損失や不適切な時間単位（週単位の集約）が原因であると考えられる。
• 『SeekFw SeekFw SeekFw SeekFw』や『SeekBw SeekBw SeekBw SeekBw』といった行動の系列が、離脱を強く予測しており、tスコアは1.6を超える。
• 過剰な前進シークや巻き戻し行動といった、明確で統計的に裏付けられた行動パターンがモデルによって抽出されることで、解釈可能性が裏付けられた。
• 限界として、非連続な週の処理が不十分であり、個々の学習進捗をモデル化できていないことから、行動表現は時間的週ではなく、講義単位の進捗に基づくべきであると示唆される。