[論文レビュー] DAS3H: Modeling Student Learning and Forgetting for Optimally Scheduling Distributed Practice of Skills

Benoît Choffin, Fabrice Popineau+2 more|arXiv (Cornell University)|May 14, 2019

Intelligent Tutoring Systems and Adaptive Learning参考文献 49被引用数 26

ひとこと要約

本稿では、複数のスキルにわたる学習および忘却のダイナミクスを統合的に追跡することで、適応的間隔反復スケジューリングを最適化する、新しい学生モデリングフレームワークDAS3Hを提案する。時間窓特徴を用いた加法的要因モデルを用いて、スキル固有の記憶消退および時間的練習分布を組み込むことで、3つの実世界の教育データセットにおいて、最先端のモデルを上回る予測精度を著しく向上させる。

ABSTRACT

Spaced repetition is among the most studied learning strategies in the cognitive science literature. It consists in temporally distributing exposure to an information so as to improve long-term memorization. Providing students with an adaptive and personalized distributed practice schedule would benefit more than just a generic scheduler. However, the applicability of such adaptive schedulers seems to be limited to pure memorization, e.g. flashcards or foreign language learning. In this article, we first frame the research problem of optimizing an adaptive and personalized spaced repetition scheduler when memorization concerns the application of underlying multiple skills. To this end, we choose to rely on a student model for inferring knowledge state and memory dynamics on any skill or combination of skills. We argue that no knowledge tracing model takes both memory decay and multiple skill tagging into account for predicting student performance. As a consequence, we propose a new student learning and forgetting model suited to our research problem: DAS3H builds on the additive factor models and includes a representation of the temporal distribution of past practice on the skills involved by an item. In particular, DAS3H allows the learning and forgetting curves to differ from one skill to another. Finally, we provide empirical evidence on three real-world educational datasets that DAS3H outperforms other state-of-the-art EDM models. These results suggest that incorporating both item-skill relationships and forgetting effect improves over student models that consider one or the other.

研究の動機と目的

• 現在の適応的間隔反復システムが単一のアイテム記憶に限定されているのに対し、スキルの応用に焦点を当てるというギャップを埋める。
• 複数の知識コンポonentsにわたる記憶消退および分散練習の利点を捉える学生モデルの開発。
• スキル固有の学習および忘却曲線をモデル化することで、最適かつパーソナライズされたスキル練習スケジューリングの実現。
• 過去の練習の時間的分布とスキルレベルの記憶ダイナミクスを統合することで、既存の知識トレーシングモデルを拡張。
• アイテムとスキルの関係性および忘却効果をモデル化することで、教育データマイニングにおける性能向上が実証されることの検証。

提案手法

• DAS3HはDASHモデルを拡張し、各スキルの学習および忘却曲線を個別にモデル化することで、スキル固有の時間的ダイナミクスを可能にする。
• 時間窓特徴（例：1/24、1、7、30、+∞日）を用いた加法的要因モデルを用い、各スキルにおける過去の練習の時間的分布を表現する。
• 各スキルおよび時間窓ごとにバイアス項を推定し、最近の練習および分散練習が想起確率に与える影響を捉える。
• 知識トレーシングマシン（KTM）フレームワークからの特徴埋め込みおよびペairwise相互作用を活用し、表現学習を豊かにする。
• 重み付き和としてのスキル固有の記憶状態および時間的特徴を入力とし、ロジスティック関数を用いて学生のパフォーマンスを予測する。
• 複数の知識コンポーネントを含む複雑な問題のパフォーマンス予測を可能にするために、個々のスキル状態を集約する仕組みを備える。

実験結果

リサーチクエスチョン

• RQ1 スキル固有の学習および忘却ダイナミクスを考慮する学生モデルが、学生の反応予測性能を向上させることができるか？
• RQ2 複数のスキルにわたる過去の練習の時間的分布を組み込むことで、記憶消退を無視するモデルと比較して、予測精度が向上するか？
• RQ3 実世界の教育データセットにおいて、DAS3Hは最先端の知識トレーシングモデルと比較してAUC性能で優れているか？
• RQ4 個々の記憶曲線を持つ複数のスキルを含むアイテムをモデル化することで、長期的保持予測の向上はどの程度達成されるか？
• RQ5 明示的にスキルレベルの記憶状態を追跡するモデルが、分散練習のためのより良い適応的スケジューリングを可能にするか？

主な発見

• DAS3Hは3つの実世界のデータセットにおいて、複数の最先端の教育データマイニングモデルを上回り、優れた予測性能を示した。
• 時間窓特徴およびスキル固有の忘却曲線の導入が、AUC性能を著しく向上させ、時間的記憶モデル化の重要性を確認した。
• 実証的結果から、アイテムとスキルの関係性および記憶消退の両方をモデル化することで、一方の側面のみを考慮するモデルよりも優れた予測が得られることを示した。
• モデルは、異なるスキルが練習歴に応じて異なる速度で消退および強化されることを捉えることで、性能向上を達成した。
• DAS3Hの設計により、各スキルの知識状態および記憶強度のより正確な推定が可能となり、将来の適応的スケジューリングアルゴリズムの支援が可能になった。
• モデルの加法的構造により、相補的学習効果が可能であるが、将来的には過大評価を避けるために非相補的代替案の検討も必要である。