[論文レビュー] Logistic Knowledge Tracing: A Constrained Framework for Learner Modeling

Philip I. Pavlik, Luke G. Eglington+1 more|arXiv (Cornell University)|May 2, 2020

Intelligent Tutoring Systems and Adaptive Learning参考文献 61被引用数 30

ひとこと要約

本稿では、適応学習システムにおける学習者モデリングのためのロジスティック回帰モデルの仕様を形式化する制約付きフレームワーク、Logistic Knowledge Tracing (LKT) を提案する。多様なモデル—既存手法の変種および新しい構成—を表すための記号的表記システムを用いることで、LKT は、学習者固有の固定パラメータに依存せずに、体系的な比較とより高い一般化性を実現する。実証的結果では、すべてのデータセットにおいて一貫して優れた性能を示すモデルは存在しないことが示された。

ABSTRACT

Adaptive learning technology solutions often use a learner model to trace learning and make pedagogical decisions. The present research introduces a formalized methodology for specifying learner models, Logistic Knowledge Tracing (LKT), that consolidates many extant learner modeling methods. The strength of LKT is the specification of a symbolic notation system for alternative logistic regression models that is powerful enough to specify many extant models in the literature and many new models. To demonstrate the generality of LKT, we fit 12 models, some variants of well-known models and some newly devised, to 6 learning technology datasets. The results indicated that no single learner model was best in all cases, further justifying a broad approach that considers multiple learner model features and the learning context. The models presented here avoid student-level fixed parameters to increase generalizability. We also introduce features to stand in for these intercepts. We argue that to be maximally applicable, a learner model needs to adapt to student differences, rather than needing to be pre-parameterized with the level of each student's ability.

研究の動機と目的

• 学習者モデリングにおけるロジスティック回帰モデルを統一的かつ形式的に指定するためのフレームワークの開発。
• 学習者レベルの固定パラメータを避けることでモデルの一般化性を向上させ、代わりに特徴に基づく切片を用いる。
• 多様な学習文脈における複数の学習者モデル構成の体系的比較を促進する。
• RパッケージおよびLearnSphere統合を介して、ロジスティック回帰モデルの迅速なプロトタイピングとテストを可能にすることで、研究の加速を図る。
• 適応教育技術向けに、より透明性が高く体系的かつ拡張可能な学習者モデルの構築を支援する。

提案手法

• LKT は、特徴および相互作用の柔軟な指定を可能にする記号的表記システムを用いてロジスティック回帰モデルを表現する。
• 知識要素（KCs）に対して固定効果およびランダム効果の両方をサポートするが、信頼性の向上を図るため、固定効果に重点を置く。
• 標準的なロジスティック回帰では実装が困難な非線形および合成的特徴（例：最近性、前回のパフォーマンス、忘却項の間の相互作用）の使用を可能にする。
• LKT は R パッケージとして実装され、DataShop データセットと連携可能な LearnSphere プラットフォームに統合されている。
• スパース行列計算および最適化されたライブラリ（例：data.table、LibLineaR）を用いたモデルフィッティングをサポートし、高いパフォーマンスを実現する。
• 今後の拡張では、特徴の組み合わせの強化（例：自動相互作用項の生成）および効率性に基づく練習選択のための遅延モデル統合を予定している。

実験結果

リサーチクエスチョン

• RQ1 どのモデル特徴の組み合わせが、多様な学習課題において学生のパフォーマンスを最も正確に予測するか？
• RQ2 統一された記号的フレームワークは、学習者モデルの体系的開発と比較を改善できるか？
• RQ3 学習者固有の固定パラメータを避けることで、新しい学習者に対してモデルの一般化性が向上するか？
• RQ4 記憶に基づく要因（例：最近性、忘却）は、手順的／概念的学習要因と比較して、パフォーマンス予測にどの程度優れているか？
• RQ5 LKT 内での特徴工学によって、分野固有の学習パターン（例：カテゴリー学習、感覚運動タスク）をどの程度捉えることができるか？

主な発見

• 6つのデータセットすべてにおいて最適な学習者モデルは存在せず、文脈に応じたモデル選択の必要性が浮き彫りになった。
• 最近性および忘却効果を組み込んだモデルは、記憶が重要な役割を果たす記憶に基づくタスク（MHE および Cloze）で最も優れたパフォーマンスを示した。
• 実際の時間間隔を明示的に使用しないが、最近のパフォーマンスを追跡する R-PFA を模倣した「propdec」特徴は、時間間隔を明示的に使用するモデルと同等の性能を示した。
• LKT フレームワークにより、スパース計算を用いた複雑なモデルの効率的フィッティングが可能となり、従来の base R では実行不可能だった解析が今や実用的になった。
• フレームワークは、手順的、概念的、感覚運動的学習タスクを含む多様な分野で強く実証的なパフォーマンスを示した。
• 著者らは、知識要素間の転送が中国語のトーン認識などのタスクでパフォーマンス向上に寄与することを観察し、知識要素間の関係をモデル化することの価値を示唆した。