[論文レビュー] Deep Knowledge Tracing with Convolutions

Shanghui Yang, Mengxia Zhu+2 more|arXiv (Cornell University)|Jul 26, 2020

Intelligent Tutoring Systems and Adaptive Learning参考文献 27被引用数 6

ひとこと要約

本稿では、最近の学生の回答の短期的影響を捉えるために3次元畳み込みを用いることで、知識トレーシングを向上させる深層学習モデルである畳み込み知識トレーシング（CKT）を提案する。CKTは、忘却曲線をより効果的にモデル化することで、最先端の性能を達成し、ASSISTments2009データセットにおいてDKNと比べてAUCが1.55ポイント、DKVMNと比べて2.03ポイント向上した。ASSISTments2015データセットでは、DKNと比べて1.01ポイント、DKVMNと比べて1.96ポイント向上した。

ABSTRACT

Knowledge tracing (KT) has recently been an active research area of computational pedagogy. The task is to model students mastery level of knowledge based on their responses to the questions in the past, as well as predict the probabilities that they correctly answer subsequent questions in the future. A good KT model can not only make students timely aware of their knowledge states, but also help teachers develop better personalized teaching plans for students. KT tasks were historically solved using statistical modeling methods such as Bayesian inference and factor analysis, but recent advances in deep learning have led to the successive proposals that leverage deep neural networks, including long short-term memory networks, memory-augmented networks and self-attention networks. While those deep models demonstrate superior performance over the traditional approaches, they all neglect more or less the impact on knowledge states of the most recent questions answered by students. The forgetting curve theory states that human memory retention declines over time, therefore knowledge states should be mostly affected by the recent questions. Based on this observation, we propose a Convolutional Knowledge Tracing (CKT) model in this paper. In addition to modeling the long-term effect of the entire question-answer sequence, CKT also strengthens the short-term effect of recent questions using 3D convolutions, thereby effectively modeling the forgetting curve in the learning process. Extensive experiments show that CKT achieves the new state-of-the-art in predicting students performance compared with existing models. Using CKT, we gain 1.55 and 2.03 improvements in terms of AUC over DKT and DKVMN respectively, on the ASSISTments2009 dataset. And on the ASSISTments2015 dataset, the corresponding improvements are 1.01 and 1.96 respectively.

研究の動機と目的

• 既存の深層学習モデルが最近の学生の回答の影響を軽視するという限界に対処すること。
• 忘却曲線理論を深層学習ベースの知識トレーシングに組み込み、最近の質問の影響を強調することで、知識トレーシングの精度を向上させること。
• 長期的および短期的な知識状態のダイナミクスをモデル化することで、将来の学生の学力予測の正確性を向上させること。
• 3次元畳み込みを用いた局所的な時間的パターン抽出と順序モデリングを組み合わせた、新しいアーキテクチャの開発

提案手法

• CKTモデルは3次元畳み込み層を用いて、学生の回答の系列を処理し、複数の質問および知識概念にわたる時間的依存性を捉える。
• 3次元畳み込みを用いて、正答／不正答の系列における局所的パターンを抽出し、特に最近の回答に注目することで、短期間の知識保持をモデル化する。
• 再帰的または密なネットワークによる長期的系列表現と、3次元畳み込みによる短期的パターンを統合し、知識状態推定を精緻化する。
• 最終的な予測ヘッドは、統合された表現を用いて、学生が次の質問に正しく答える確率を推定する。
• モデルは、学生の回答系列に対してバイナリクロスエントロピー損失を用いてエンドツーエンドで学習する。
• 3次元畳み込みの使用により、高レベルのフィルタが最近の回答トレンドに焦点を当てる階層的な時間的パターンを学習できる

実験結果

リサーチクエスチョン

• RQ1 最近の学生の回答の短期的影響をモデル化することで、知識トレーシングの性能が向上するか？
• RQ2 忘却曲線を深層学習モデルに組み込むことで、知識トレーシングにおける予測精度がどの程度向上するか？
• RQ3 提案された3次元畳み込み機構は、標準的なRNNやアテンションベースのモデルと比較して、学習の時間的ダイナミクスをどの程度効果的に捉えられるか？
• RQ4 CKTモデルは、異なる教育データセットや学生の回答パターンに一般化可能か？

主な発見

• ASSISTments2009データセットにおいて、CKTはDKNモデルと比べてAUCが1.55ポイントの絶対的向上を達成した。
• 同じデータセットにおいて、CKTはDKVMNモデルと比べてAUCが2.03ポイント向上した。
• ASSISTments2015データセットでは、CKTはDKNと比べてAUCが1.01ポイント向上し、DKVMNと比べて1.96ポイント向上した。
• 性能向上の結果から、3次元畳み込みによる最近の回答のモデル化が、学生学習における忘却曲線を効果的に捉えていることが示された。
• 結果から、短期間の回答パターンが知識状態推定に顕著に影響を与え、知識トレーシングモデルにおいて優先的に扱われるべきであることが確認された。
• CKTは、両方のベンチマークデータセットにおいて、知識トレーシング分野で新たな最先端の性能を確立した。