[論文レビュー] Latent Skill Embedding for Personalized Lesson Sequence Recommendation

Siddharth Reddy, Igor Labutov+1 more|arXiv (Cornell University)|Feb 23, 2016

Intelligent Tutoring Systems and Adaptive Learning参考文献 26被引用数 10

ひとこと要約

本稿では、特徴工学や事前概念アノテーションを必要とせず、生のアクセストレースから学生、授業、評価の共同表現を学習する確率的モデル、潜在的スキル埋め込み（LSE）を提案する。正則化された最尤推定を用いて学習ダイナミクスをモデル化することで、LSEは評価結果を効果的に予測し、熟達率を著しく向上させるパーソナライズドな授業シーケンスを推薦する。Knewtonの実世界データにおいて、ベンチマークを上回る性能を発揮する。

ABSTRACT

Students in online courses generate large amounts of data that can be used to personalize the learning process and improve quality of education. In this paper, we present the Latent Skill Embedding (LSE), a probabilistic model of students and educational content that can be used to recommend personalized sequences of lessons with the goal of helping students prepare for specific assessments. Akin to collaborative filtering for recommender systems, the algorithm does not require students or content to be described by features, but it learns a representation using access traces. We formulate this problem as a regularized maximum-likelihood embedding of students, lessons, and assessments from historical student-content interactions. An empirical evaluation on large-scale data from Knewton, an adaptive learning technology company, shows that this approach predicts assessment results competitively with benchmark models and is able to discriminate between lesson sequences that lead to mastery and failure.

研究の動機と目的

• オンライン教育におけるパーソナライズドな授業シーケンス推薦のためのドメインに依存しない、データ駆動型フレームワークの開発。
• 専門家がアノテートした概念マッピングや手作業による特徴量に依存せずに、学生の知識とコンテンツの関係をモデル化すること。
• バイナリアクセストレース（例：合格／不合格、完了）のみを用いて、学生、授業、評価の共同埋め込みを学習すること。
• 推薦されたシーケンスが評価の熟達に至るか失敗に至るかを予測するモデルの能力の評価。
• 多様なオンライン学習プラットフォームに適用可能なスケーラブルで汎用的なソリューションの提供。

提案手法

• モデルは、正則化された最尤推定を用いて、学生、授業、評価を共有の低次元意味的空間に埋め込む。
• 学生-コンテンツの相互作用を観測とみなし、観測された結果（例：合格／不合格、完了）の尤度を最大化するように潜在的表現を学習する。
• 埋め込み空間は、学生の熟練度とコンテンツパラメータの共同最適化を通じて、スキルの進行具合と評価の難易度を捉える。
• 前提条件とバイアス項を備えた2次元埋め込みモデルを用い、前提関係と個々の差異のモデリングを可能にする。
• L2正則化を施したロジスティック回帰を用いた感受性スコアマッチングを適用し、推薦の因果的効果（熟達への影響）を推定する。
• 交換可能な近傍探索（nearest-neighbor matching with replacement）を用い、観察データにおいて推薦されたパスと非推薦パスの結果を比較する。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型埋め込みモデルは、特徴工学を一切行わず、生のアクセストレースのみから学生の知識と教育コンテンツの意味的表現を学習できるか？
• RQ2 学習された埋め込みは、学生の評価結果に対する正確な予測を可能にするか？
• RQ3 本モデルは、代替パスと比較して熟達率の高いパーソナライズドな授業シーケンスを推薦できるか？
• RQ4 感受性スコアマッチングに基づく因果推論プロキシを用いて評価した場合、推薦品質はどの程度頑健か？
• RQ5 専門家がアノテートした概念なしに、多様なコンテンツおよび学生集団にどの程度一般化可能か？

主な発見

• LSEモデルは、特徴工学を一切行わずとも、ベンチマークモデルと同等の予測性能を達成する。
• 本モデルは、実世界のデータにおいて熟達に至るシーケンスと失敗に至るシーケンスを効果的に区別する。
• 感受性スコアマッチングの結果、推薦されたパスはより高い合格率を示し、パスの質に顕著な差がある場合にその効果が顕著に現れる。
• 近傍探索に使用する近傍数の変動に関わらず、推薦品質の安定性が保たれていることから、因果推定の安定性が裏付けられる。
• Knewtonの200万件を超えるアクセストレースを含む大規模データセットを用いた実験により、多様な教育コンテンツおよび学生集団にわたって良好な一般化性能を示す。
• 実装およびIPythonノートブックが公開されており、フレームワークの再現性と拡張性を確保している。