[論文レビュー] Deep Knowledge Tracing

Chris Piech, Jonathan Bassen+5 more|arXiv (Cornell University)|Jun 19, 2015

Intelligent Tutoring Systems and Adaptive Learning参考文献 27被引用数 628

ひとこと要約

本論文は、専門家がアノテートした概念を必要とせず、相互作用データから学生の知識状態とその時間的ダイナミクスを学習する、再帰ニューラルネットワーク（RNN）ベースのモデルであるDeep Knowledge Tracing（DKT）を紹介する。DKTはベンチマークデータセット上で、先行する最先端手法に比べてAUCで25%の向上を達成し、顕在的な知識構造と演習の関係を自動で発見する。これにより、人為的アノテーションなしで知的カリキュラム設計が可能になる。

ABSTRACT

Knowledge tracing---where a machine models the knowledge of a student as they interact with coursework---is a well established problem in computer supported education. Though effectively modeling student knowledge would have high educational impact, the task has many inherent challenges. In this paper we explore the utility of using Recurrent Neural Networks (RNNs) to model student learning. The RNN family of models have important advantages over previous methods in that they do not require the explicit encoding of human domain knowledge, and can capture more complex representations of student knowledge. Using neural networks results in substantial improvements in prediction performance on a range of knowledge tracing datasets. Moreover the learned model can be used for intelligent curriculum design and allows straightforward interpretation and discovery of structure in student tasks. These results suggest a promising new line of research for knowledge tracing and an exemplary application task for RNNs.

研究の動機と目的

• 将来の教育的相互作用における学生のパフォーマンスを正確に予測する機械学習モデルの開発を目的とする。
• 従来の知識トレーシングモデルの限界、例えば手作業でコーディングされたマルコフモデルや知識の2値表現に依存する点を克服することを目的とする。
• 専門家がアノテートした概念に依存せずに、潜在的な知識構造と演習の依存関係を自動で発見できることを目的とする。
• 予測された学生の知識成長に基づいて最適な演習の順序を学習することで、知的カリキュラム設計を支援することを目的とする。
• 深層学習モデルが教育データにおける複雑で時間依存性のある学習ダイナミクスを効果的にモデル化できることを示すこと

提案手法

• モデルは、学生の潜在的知識状態を時間とともに変化する高次元ベクトルとして表現する、深層再帰ニューラルネットワーク（RNN）を用いる。
• 入力シーケンスは、演習タグと正答の有無から構成され、各相互作用に対してベクトルにエンコードされる。
• RNNは段階的にシーケンスを処理し、隠れ状態を更新して進化する知識を反映させ、次の演習における正答確率を予測する。
• 大規模な学生相互作用データ上で、バックプロパゲーション・スル・タイムを用いてエンドツーエンドでモデルパラメータを学習する。
• 条件付き影響は、隠れ状態遷移に基づく学習済みの影響関数を用いて推定される。
• 本モデルは、実世界のデータセット（Khan AcademyおよびAssistments）で評価され、ベイジアン・ナレッジ・トレーシング（BKT）および他のベースラインと比較されている。

実験結果

リサーチクエスチョン

• RQ1 深層RNNモデルは、従来のベイジアン・ナレッジ・トレーシング（BKT）よりも、将来の演習における学生のパフォーマンスを予測する能力で優れているか？
• RQ2 専門家がアノテートした概念に依存せずに、意味のある潜在的知識構造と演習の関係をモデルが発見できるか？
• RQ3 モデルを用いて、知的演習シーケンシングにより改善された教育カリキュラムを生成できる程度はどの程度か？
• RQ4 複雑で非線形的な学習パターンを示す実世界の教育データセットにおいて、モデルはどの程度一般化性能を示すか？
• RQ5 モデルの内部表現が、解釈可能で教育的に意味のある演習間の依存関係を明らかにできるか？

主な発見

• DKTは、Assistmentsベンチマークで、最も優れた先行結果に比べてAUCで25%の相対的向上を達成し、優れた予測性能を示した。
• 本モデルは、専門家によるアノテーションなしに合成データで潜在的コンセプトクラスタを効果的に学習し、知識構造の自律的発見を示した。
• Khan Academyデータセットでは、8年生の数学の演習の間で、一貫性があり解釈可能な関係（双方向の依存関係やコンセプトクラスタリング）を同定した。
• モデルが学習した影響グラフは、同じコンセプトの演習が多数の相互作用をはさんでも条件付きで依存している可能性があることを示し、時間的モデリングの強固さを裏付けた。
• DKTが生成したカリキュラムは、シミュレーテッドMDP設定でベースライン戦略を上回り、少ない演習数でより高い予測知識獲得を達成した。
• 本モデルは、RNNが教育データにおける複雑で非マルコフ的学習ダイナミクスを効果的にモデル化できることを示し、従来の1次マルコフモデルを凌駆した。