[論文レビュー] Knowledge Tracing Machines: Factorization Machines for Knowledge Tracing

Jill-Jênn Vie, Hisashi Kashima|arXiv (Cornell University)|Nov 8, 2018

Intelligent Tutoring Systems and Adaptive Learning参考文献 14被引用数 15

ひとこと要約

この論文では、複数の知識コンponentや試行回数などの豊富なサイド情報を取り入れることで、既存の知識トレーシングモデルを一般化・改善する因子分解マシンベースのフレームワーク、Knowledge Tracing Machines (KTMs) を紹介する。KTMs はスパースな教育データセットにおいて最先端の性能を達成し、DST や DKT などの従来のモデルやディープラーニングベースラインを上回る。同時に、効率的な学習を可能にする解釈可能な高次元の学生モデリングも実現する。

ABSTRACT

Knowledge tracing is a sequence prediction problem where the goal is to predict the outcomes of students over questions as they are interacting with a learning platform. By tracking the evolution of the knowledge of some student, one can optimize instruction. Existing methods are either based on temporal latent variable models, or factor analysis with temporal features. We here show that factorization machines (FMs), a model for regression or classification, encompasses several existing models in the educational literature as special cases, notably additive factor model, performance factor model, and multidimensional item response theory. We show, using several real datasets of tens of thousands of users and items, that FMs can estimate student knowledge accurately and fast even when student data is sparsely observed, and handle side information such as multiple knowledge components and number of attempts at item or skill level. Our approach allows to fit student models of higher dimension than existing models, and provides a testbed to try new combinations of features in order to improve existing models.

研究の動機と目的

• 既存のモデルを一般化し、スパースで順序付きの学生の相互作用データを扱える統合的で柔軟な知識トレーシングフレームワークの開発。
• アイテムごとの複数の知識コンponent や試行回数といった豊富なサイド情報を学生モデリングに組み込み、予測精度の向上を図ること。
• 限られた観測値でも、高次元の学生およびアイテム埋め込み学習を効率的かつ正確に維持すること。
• 新しい特徴の組み合わせを試すための実験用基盤を提供すること。
• サイド情報の追加が、潜在次元の増加よりも性能向上に寄与することを示すこと。

提案手法

• KTMs は因子分解マシン（FMs）を用い、ユーザーとアイテムの埋め込みの対数線形関数として学生のパフォーマンスをモデル化し、特徴間の対間相互作用を扱う。
• q-行列による知識コンponent、アイテムまたはスキルレベルでの試行回数、アイテムバイアスといったサイド情報をモデルに組み込む。
• 予測はロジット関数を用いる：logit(p_ij) = w_0 + sum_i w_i x_i + sum_{i<j} w_ij x_i x_j、ここで x_i はユーザー、アイテム、およびサイド情報の特徴ベクトルを含む。
• スパースで時系列順に整列された（学生、アイテム、結果）三元組に対して、確率的勾配降下法を用いてエンドツーエンドで学習する。
• KTMs は、加法的要因モデル、パフォーマンス要因モデル、多次元IRT を特別なケースとして一般化する。
• フレームワークは高次元埋め込み（最大 d=20）をサポートし、解釈可能な対数線形表現による学生およびアイテムの知識状態の学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 因子分解マシンに基づく統合的フレームワークは、既存の知識トレーシングモデルを効果的に一般化・改善できるか？
• RQ2 複数の知識コンponent や試行回数といったサイド情報を組み込むことで、スパースな教育データにおける予測精度が顕著に向上するか？
• RQ3 実世界のデータセットにおいて、KTMs の性能は DKT や従来の因子分析モデルと比べてどの程度か？
• RQ4 潜在次元の増加と比較して、サイド情報の豊富さが性能向上に与える影響はどの程度か？
• RQ5 KTMs は、知識トレーシングにおける新しい特徴の組み合わせを試すための柔軟な実験基盤として利用可能か？

主な発見

• KTMs は BKT や FAST といった従来のモデルを上回り、DST や DKT と同等またはそれを上回る性能を、ユーザーおよびアイテムが数万件に及ぶ複数の実世界データセットで示した。
• スキルレベルのバイアスだけでなく、アイテムごとのバイアスを導入することで、より高い性能が得られた。
• 複数の知識コンponent や試行回数といったサイド情報の追加が、モデルの潜在次元を増加させることよりも、予測性能の向上に寄与した。
• スパースなデータでも高い精度を達成し、未観測の学生やアイテムに対しても優れた一般化性能を示した。
• KTMs は効率的かつスケーラブルであり、標準的なモデルでは実現不可能な高次元の学生モデル（最大 d=20）の学習を可能にした。
• 学習された埋め込みは解釈可能であり、学生への意味のあるフィードバックを提供するなど、フォーマティブ評価の向上に役立つ。