[論文レビュー] Student Performance Prediction Using Dynamic Neural Models

Marina Delianidi, Konstantinos Diamantaras+2 more|arXiv (Cornell University)|Jun 1, 2021

Intelligent Tutoring Systems and Adaptive Learning参考文献 22被引用数 7

ひとこと要約

本稿では、学生の学力予測のための2段階構造の動的ニューラルネットワークモデルを提案している。このモデルは、学生の知識状態の時間的推移を追跡するために、双方向GRU（Bi-GRU）または時遅延ニューラルネットワーク（TDNN）を用い、その後に順方向の分類器を配置する。Bi-GRUモデルは、5つのベンチマークデータセットの4つにおいて、TDNNおよび最先端モデルを上回る性能を示したが、事前学習済みのスキル埋め込みやアテンション機構の恩恵は顕著ではなかった。

ABSTRACT

We address the problem of predicting the correctness of the student's response on the next exam question based on their previous interactions in the course of their learning and evaluation process. We model the student performance as a dynamic problem and compare the two major classes of dynamic neural architectures for its solution, namely the finite-memory Time Delay Neural Networks (TDNN) and the potentially infinite-memory Recurrent Neural Networks (RNN). Since the next response is a function of the knowledge state of the student and this, in turn, is a function of their previous responses and the skills associated with the previous questions, we propose a two-part network architecture. The first part employs a dynamic neural network (either TDNN or RNN) to trace the student knowledge state. The second part applies on top of the dynamic part and it is a multi-layer feed-forward network which completes the classification task of predicting the student response based on our estimate of the student knowledge state. Both input skills and previous responses are encoded using different embeddings. Regarding the skill embeddings we tried two different initialization schemes using (a) random vectors and (b) pretrained vectors matching the textual descriptions of the skills. Our experiments show that the performance of the RNN approach is better compared to the TDNN approach in all datasets that we have used. Also, we show that our RNN architecture outperforms the state-of-the-art models in four out of five datasets. It is worth noting that the TDNN approach also outperforms the state of the art models in four out of five datasets, although it is slightly worse than our proposed RNN approach. Finally, contrary to our expectations, we find that the initialization of skill embeddings using pretrained vectors offers practically no advantage over random initialization.

研究の動機と目的

• 知識状態の進化を動的シーケンス学習問題としてモデル化することで、学生の学力予測の精度を向上させること。
• 知識トレーシングにおいて、有限記憶のTDNNと無限記憶のRNN（特にBi-GRU）の有効性を比較すること。
• ランダム初期化と事前学習済みの単語埋め込みの2種類のスキル埋め込み初期化戦略がモデル性能に与える影響を評価すること。
• アテンション機構が知識トレーシングタスクにおける予測精度を向上させるかどうかを調査すること。
• 畳み込み層と空間ドロップアウトを埋め込み層の後に適用することで、過学習に強いアーキテクチャを構築すること。

提案手法

• モデルは2段階のアーキテクチャを採用：応答履歴の逐次的変化から進化する学生の知識状態を推定する動的ニューラルネットワーク（Bi-GRUまたはTDNN）を用いる。
• 学生の応答と関連するスキルは、学習可能な埋め込みで符号化され、スキル埋め込みはランダム初期化または事前学習済みのWord2Vec/FastTextベクトルで初期化される。
• 埋め込み層の後に、カーネルサイズ3、ReLU活性化関数を用いた畳み込み層を適用し、次元削減と過学習の緩和を図る。
• 畳み込み層の後に空間ドロップアウトを適用することで、さらに正則化を強化し、一般化性能を向上させる。
• 多層の順方向ネットワークにより、推定された知識状態に基づき、次の応答の正答性を分類する。
• エポックの早期停止を伴うAdam最適化法を用い、交差エントロピー損失関数でエンドツーエンドに学習を行う。

実験結果

リサーチクエスチョン

• RQ1 複数のデータセットにわたる学生の学力予測において、Bi-GRUアーキテクチャの使用がTDNNよりも優れた性能を示すか？
• RQ2 ランダム初期化と比較して、事前学習済み単語ベクトルによるスキル埋め込み初期化が、性能向上に顕著な効果をもたらすか？
• RQ3 アテンション機構やキーバリューモジュールは、この知識トレーシング設定において予測精度を向上させるか？
• RQ4 畳み込み層と空間ドロップアウトを用いることで、知識トレーシングモデルにおける過学習を効果的に低減できるか？
• RQ5 多様なベンチマークデータセットにおいて、AUC指標の観点から、本モデルは既存の最先端モデルと比較してどのように差をつけるか？

主な発見

• Bi-GRUベースのモデルは、5つのベンチマークデータセットすべてでTDNNベースのモデルを上回り、統計的に有意な差（p値 < 1e-40）を示した。
• Bi-GRUモデルは、5つのデータセットの4つで最先端性能を達成し、DKVMN や Deep-IRT などのモデルを上回った。
• TDNNモデルも、5つのデータセットの4つで過去の最先端モデルを上回ったが、Bi-GRUにわずかに劣っていた。
• スキルのための事前学習済み単語埋め込みは、ランダム初期化と比較して顕著な性能向上をもたらさず、当初の期待とは反対の結果となった。
• アテンション機構やキーバリューモジュールは性能向上に寄与せず、最終的なモデルから除外された。
• 埋め込み層の後に畳み込み層と空間ドロップアウトを適用することで、過学習が顕著に低減され、モデルの一般化性能が向上した。