[論文レビュー] Do we need to go Deep? Knowledge Tracing with Big Data

Varun Mandalapu, Jiaqi Gong+1 more|arXiv (Cornell University)|Jan 20, 2021

Intelligent Tutoring Systems and Adaptive Learning参考文献 21被引用数 5

ひとこと要約

本研究では、607,000人の学生からなる9300万件の学生インタラクションを含む、教育分野で最大の公開利用可能なデータセットEdNet上で、知識トレーシングモデルの性能を評価している。特徴量エンジニアリングを念入りに行ったロジスティック回帰モデルが、DKT や SAKT といったディープラーニングモデルを上回る性能を示した。これは、大規模データセットであっても、モデルの深さよりも特徴量エンジニアリングの価値が依然として高いことを示しており、現在の教育データ環境における特徴量設計の重要性を強調している。

ABSTRACT

Interactive Educational Systems (IES) enabled researchers to trace student knowledge in different skills and provide recommendations for a better learning path. To estimate the student knowledge and further predict their future performance, the interest in utilizing the student interaction data captured by IES to develop learner performance models is increasing rapidly. Moreover, with the advances in computing systems, the amount of data captured by these IES systems is also increasing that enables deep learning models to compete with traditional logistic models and Markov processes. However, it is still not empirically evident if these deep models outperform traditional models on the current scale of datasets with millions of student interactions. In this work, we adopt EdNet, the largest student interaction dataset publicly available in the education domain, to understand how accurately both deep and traditional models predict future student performances. Our work observes that logistic regression models with carefully engineered features outperformed deep models from extensive experimentation. We follow this analysis with interpretation studies based on Locally Interpretable Model-agnostic Explanation (LIME) to understand the impact of various features on best performing model pre-dictions.

研究の動機と目的

• 大規模教育インタラクションデータ上で、ディープラーニングモデルが従来のモデルを上回るかを評価すること。
• 専門家が設計した特徴量を用いたロジスティック回帰と、複雑なディープラーニングアーキテクチャの相対的な性能を調査すること。
• LIMEを用いて個々の特徴量の寄与度を解釈し、実行可能なインサイトを得ること。
• DKT や SAKT といったディープラーニングモデルのスケーラビリティと一般化性能を、数百万件のインタラクションを含むデータセット上で評価すること。

提案手法

• 本研究では、607,000人の学生からなる9300万件のインタラクションを含む、教育分野で最大の公開利用可能な学生インタラクションデータセット「EdNet KT1」を用いる。
• アイテムレポンスタリース（IRT）パラメータ、スキル正答率、試行回数／成功回数などの手作業で設計された特徴量を用いて訓練されたロジスティック回帰モデルと、DKT や SAKT といったディープラーニングモデルを比較する。
• モデルの性能は、保留されたテストセットにおけるAUCスコアで評価され、計算制約のためロジスティック回帰は50,000人の学生のサブセットで訓練された。
• LIMEを用いて局所的な特徴量の重要度を解釈し、個々のスキルやインタラクションパターンが予測結果にどのように影響するかを分析する。
• 特徴量の重要度は、局所的なLIME解釈とスキルの難易度（正答率）との相関をとることで評価され、モデルの挙動に見られるパターンを明らかにする。

実験結果

リサーチクエスチョン

• RQ1 DKT や SAKT といったディープラーニングモデルは、大規模教育データセット上で知識トレーシングにおいて、従来のロジスティック回帰モデルを上回る性能を示すのか？
• RQ2 教育理論（例：IRT、PFA）に基づく手作業で設計された特徴量と、生のインタラクションシーケンスとを比較した場合、どちらが学生のパフォーマンス予測に優れているのか？
• RQ3 スキルの難易度（正答率で測定）がモデルの予測に与える影響は何か？ また、その影響は特徴量の重要度にどのように反映されるか？
• RQ4 LIMEに基づく局所的解釈は、モデル予測における特徴量の寄与度に意味のあるパターンを明らかにできるか？

主な発見

• IRTに基づく特徴量を用いたロジスティック回帰は、EdNetの50,000人分のサブセットでAUC 0.73を達成し、すべてのディープラーニングモデルを上回った。
• DKTモデルは、607,000人の学生を含む全データセットで訓練した場合、性能が低下した。これは、大規模データでスケーラビリティに欠けるか、過学習している可能性を示唆している。
• 試行回数や成功回数（正答）に基づく特徴量は、予測力が低く、PFAがアイテム関連の特徴量を除いた場合にAUC 0.66を示したことで裏付けられた。
• LIME解析により、最も難しいスキル（正答率が最も低い）は負の局所的重要度を示した。これは、正答予測と矛盾する可能性を示しており、おそらく一貫性のないパフォーマンスが原因と考えられる。
• 最も高い性能を示したモデルの予測は、主にIRTパラメータとスキル正答率に強く依存しており、生のインタラクションシーケンスとは無関係であった。