[論文レビュー] A Deep Learning Approach to Behavior-Based Learner Modeling

Yuwei Tu, Wei-Yu Chen+1 more|arXiv (Cornell University)|Jan 23, 2020

Online Learning and Analytics参考文献 19被引用数 4

ひとこと要約

本稿では、短時間のオンラインコースにおける学習者パフォーマンス予測のため、クリックストリーム行動特徴とコースコンテンツのGloVeベースのテキスト特徴を統合するTwo Branch Decision Network (TBN)を提案する。モデルは95.7%の正確性と0.958のAUCを達成し、ニューラルネットワークおよび非ニューラルネットワークのベースラインを上回り、ユーザー行動とコースコンテンツの意味的特徴を統合することで予測性能が顕著に向上することを示している。

ABSTRACT

The increasing popularity of e-learning has created demand for improving online education through techniques such as predictive analytics and content recommendations. In this paper, we study learner outcome predictions, i.e., predictions of how they will perform at the end of a course. We propose a novel Two Branch Decision Network for performance prediction that incorporates two important factors: how learners progress through the course and how the content progresses through the course. We combine clickstream features which log every action the learner takes while learning, and textual features which are generated through pre-trained GloVe word embeddings. To assess the performance of our proposed network, we collect data from a short online course designed for corporate training and evaluate both neural network and non-neural network based algorithms on it. Our proposed algorithm achieves 95.7% accuracy and 0.958 AUC score, which outperforms all other models. The results also indicate the combination of behavior features and text features are more predictive than behavior features only and neural network models are powerful in capturing the joint relationship between user behavior and course content.

研究の動機と目的

• 中間評価が存在しない短時間のオンラインコースにおける学習者成果の予測を改善すること。
• ユーザー行動データとコースコンテンツのテキスト特徴を統合することで予測性能が向上するかを調査すること。
• ユーザー行動とコースコンテンツの進行状況の間の連関を捉える深層学習モデルの開発。
• 実世界の企業研修データセット上で、モデルの性能をニューラルネットワークおよび非ニューラルネットワークのベースラインと比較すること。
• 予測結果を活用してコンテンツ選択やパーソナライゼーションに役立てる可能性の探求。

提案手法

• Two Branch Decision Network (TBN) は、ユーザーのクリックストリーム特徴とコースコンテンツのテキスト特徴を別々のブランチで処理する。
• クリックストリーム特徴は、コースコンテンツに対するユーザーのインタラクション（例：クリック、スライド滞在時間）から抽出される。
• テキスト特徴は、事前学習済みのGloVe単語埋め込みを用いて、各スライドおよびクイズの意味的コンテンツを表現する。
• 2つのブランチは、完全結合層を介して統合され、ユーザー行動とコンテンツ意味の関連性をモデル化する。
• モデルは、学習率0.005でAdam最適化を用い、2000エポックにわたり交差エントロピー損失を最小化するように訓練される。
• 訓練および評価の過程でクラス分布がバランスされるよう、5分割のストラティファイド交差検証戦略が用いられる。

実験結果

リサーチクエスチョン

• RQ1 ユーザー行動特徴とコースコンテンツのテキスト特徴を統合することで、短時間のオンラインコースにおけるパフォーマンス予測の正確性が向上するか？
• RQ2 ユーザー行動とコンテンツ意味を同時にモデル化する深層ニューラルネットワークモデルは、従来のモデルと比較してどのように異なるか？
• RQ3 意味的コンテンツ特徴を含めることで、行動のみのモデルに比べ、より安定的かつ正確な予測が得られるか？
• RQ4 予測性能に基づいて、モデルが重要なコースセグメントを特定できるか。その結果、コンテンツ選択に役立てるインサイトを提供できるか？
• RQ5 TBNアーキテクチャは、ESN や BNN といった代替のニューラルネットワーク設計よりも、ユーザー・コンテンツ相互作用を捉える上でより効果的か？

主な発見

• 提案されたTwo Branch Decision Network (TBN) は、95.7%の正確性と0.958のAUCを達成し、テストされたすべてのモデル（勾配ブースティング分類器を含む）を上回る性能を示した。
• TBNモデルは、BNN（93.2%の正確性）およびESN（94.2%の正確性）を著しく上回り、完全結合統合層の優位性を示した。
• GloVe埋め込みを用いてコースコンテンツのテキスト特徴を統合することで、行動特徴のみのモデルに比べて予測性能が向上し、コンテンツ意味の重要性が裏付けられた。
• 勾配ブースティング分類器は最高の正確性（97.6%）を達成したが、AUCが0.911にとどまり、クラス確率推定の観点でやや脆弱であることが示された。
• 訓練曲線から、AUCおよび正確性が200エポック目で安定することが確認され、過学習を防ぐために早期停止が有効である可能性が示された。
• 結果から、ユーザー行動とコースコンテンツの複雑な関係を捉える上で、ニューラルネットワークモデルは非ニューラルモデルよりも優れた性能と安定性を示していることが明らかになった。