[論文レビュー] How deep is knowledge tracing?

Mohammad Khajah, Robert Lindsey+1 more|arXiv (Cornell University)|Mar 14, 2016

Reinforcement Learning in Robotics参考文献 27被引用数 89

ひとこと要約

この論文は、学生の学習成績予測において、深層知識トレーシング（DKT）がベイジアン知識トレーシング（BKT）を上回る理由を調査している。文献で以前に提案された要因である忘却、潜在的学力、スキル発見のメカニズムをBKTに組み込むことで、BKTはDKTと区別できない性能を達成し、DKTの優位性が深層表現学習によるものではなく、統計的柔軟性によるものであることを示している。

ABSTRACT

In theoretical cognitive science, there is a tension between highly structured models whose parameters have a direct psychological interpretation and highly complex, general-purpose models whose parameters and representations are difficult to interpret. The former typically provide more insight into cognition but the latter often perform better. This tension has recently surfaced in the realm of educational data mining, where a deep learning approach to predicting students' performance as they work through a series of exercises---termed deep knowledge tracing or DKT---has demonstrated a stunning performance advantage over the mainstay of the field, Bayesian knowledge tracing or BKT. In this article, we attempt to understand the basis for DKT's advantage by considering the sources of statistical regularity in the data that DKT can leverage but which BKT cannot. We hypothesize four forms of regularity that BKT fails to exploit: recency effects, the contextualized trial sequence, inter-skill similarity, and individual variation in ability. We demonstrate that when BKT is extended to allow it more flexibility in modeling statistical regularities---using extensions previously proposed in the literature---BKT achieves a level of performance indistinguishable from that of DKT. We argue that while DKT is a powerful, useful, general-purpose framework for modeling student learning, its gains do not come from the discovery of novel representations---the fundamental advantage of deep learning. To answer the question posed in our title, knowledge tracing may be a domain that does not require `depth'; shallow models like BKT can perform just as well and offer us greater interpretability and explanatory power.

研究の動機と目的

• DKTがBKTを上回る性能を示す理由を、学生の学習モデリングにおいて解明すること。
• DKTの成功が深層表現学習に起因するのか、それともデータ内の統計的パターンをより柔軟にモデル化しているからなのかを調査すること。
• 既存の解釈可能な拡張手法を用いて、BKTを拡張することでDKTの性能に追いつけるかどうかを評価すること。
• 教育データマイニングにおける予測性能とモデルの解釈性のトレードオフを評価すること。
• 高性能な知識トレーシングを達成するために深層学習が必要なのか、それとも柔軟性を追加した構造的モデルで十分なのかを特定すること。

提案手法

• DKTが活用しているが、古典的BKTが捉えられていない4つの統計的パターン（最近性効果、文脈化された試行シーケンス、スキル間の類似性、個人差）を同定する。
• BKTに3つの既知の拡張を適用する：忘却（最近性をモデル化）、潜在的学力（個人差をモデル化）、スキル発見（スキルと問題の対応を推定）。
• MCMCを用いた推論が必要な場合に備え、3つのデータセット（Assistments、Khan Academy（合成）、Statics）で拡張BKTモデルを学習する。
• AUCを主な指標として、拡張BKTモデルとDKTの予測性能を比較する。
• DKTのベースラインとして、ドメイン特化のない汎用的な再帰ニューラルネットワーク（RNN）を用い、同じデータで学習する。
• 異なるデータセットにおける性能を評価し、どの拡張がどの文脈で最も効果的かを分析する。

実験結果

リサーチクエスチョン

• RQ1 DKTが活用しているが、古典的BKTが捉えられていない学生学習データ内の統計的パターンは何か？
• RQ2 深層表現学習に依存せずに、BKTを拡張することでDKTの予測性能に追いつけるか？
• RQ3 BKTの拡張として、忘却、潜在的学力、スキル発見のうち、どの特定の拡張が異なるデータセットで最も効果的か？
• RQ4 DKTの性能向上は、表現の発見に起因するのか、それともデータの統計的パターンをより柔軟にモデル化しているからなのか？
• RQ5 知識トレーシングモデルにおいて、性能向上の代償として解釈性はどの程度損なわれるのか？

主な発見

• 忘却、潜在的学力、スキル発見を組み込んだ拡張BKTは、Assistments、Synthetic、Staticsの3つのデータセットすべてでDKTと区別できない予測性能を達成した。
• DKTの性能向上は、深層表現学習によるものではなく、最近性効果や個人差といった統計的パターンをモデル化できる柔軟性に起因する。
• Assistmentsデータセットでは、忘却の導入が最も重要な改善要因であり、BKTが最近性効果を捉えるのを可能にした。
• 合成データセット（Synthetic）では、真のスキルマッピングが不明な状況下で期待通りにスキル発見が最大の性能向上をもたらした。
• Staticsデータセットでは、潜在的学力のモデル化が最も顕著な改善をもたらし、学力と問題の難易度を分離するのを助けた。
• DKTの高い性能にもかかわらず、そのパラメータはほぼ解釈不能である一方、拡張BKTモデルは忘却率や学力といった意味のあるパラメータを保ち、心理的解釈可能性を維持している。