[论文解读] Latent Skill Embedding for Personalized Lesson Sequence Recommendation

Siddharth Reddy, Igor Labutov+1 more|arXiv (Cornell University)|Feb 23, 2016

Intelligent Tutoring Systems and Adaptive Learning参考文献 26被引用 10

一句话总结

本文提出潜在技能嵌入（LSE），一种概率模型，通过原始访问日志学习学生、课程和评估的联合表征，无需特征工程或先验概念标注。通过正则化最大似然嵌入建模学习动态，LSE能有效预测评估结果，并推荐个性化课程序列，显著提高掌握率，在Knewton的真实数据中优于基线模型。

ABSTRACT

Students in online courses generate large amounts of data that can be used to personalize the learning process and improve quality of education. In this paper, we present the Latent Skill Embedding (LSE), a probabilistic model of students and educational content that can be used to recommend personalized sequences of lessons with the goal of helping students prepare for specific assessments. Akin to collaborative filtering for recommender systems, the algorithm does not require students or content to be described by features, but it learns a representation using access traces. We formulate this problem as a regularized maximum-likelihood embedding of students, lessons, and assessments from historical student-content interactions. An empirical evaluation on large-scale data from Knewton, an adaptive learning technology company, shows that this approach predicts assessment results competitively with benchmark models and is able to discriminate between lesson sequences that lead to mastery and failure.

研究动机与目标

• 开发一种领域无关、数据驱动的个性化课程序列推荐框架，用于在线教育。
• 在不依赖专家标注的概念映射或手工特征的情况下，建模学生知识与内容之间的关系。
• 仅使用二值访问日志（如通过/失败、完成）学习学生、课程和评估的联合嵌入表征。
• 评估模型推荐能导致评估掌握或失败的课程序列的能力。
• 提供一种可扩展的通用解决方案，适用于多种在线学习平台。

提出的方法

• 该模型使用正则化最大似然估计，将学生、课程和评估嵌入到共享的低维语义空间中。
• 将学生-内容交互视为观测数据，学习能最大化观测结果（如通过/失败、完成）似然性的潜在表征。
• 嵌入空间通过联合优化学生能力与内容参数，捕捉技能进展和评估难度。
• 采用包含先决条件和偏置项的二维嵌入模型，支持对先决条件关系和个体差异的建模。
• 通过带L2正则化的逻辑回归进行倾向得分匹配，以估计推荐对掌握率的因果效应。
• 使用带替换的最近邻匹配方法，在观察数据中比较推荐与非推荐学习路径的结果。

实验结果

研究问题

• RQ1 仅从原始访问日志中，数据驱动的嵌入模型能否学习到有意义的学生知识和教育内容表征？
• RQ2 所学嵌入是否能准确预测学生在评估中的表现？
• RQ3 与其它路径相比，该模型能否推荐能带来更高掌握率的个性化课程序列？
• RQ4 当基于倾向得分匹配的因果推断代理进行评估时，推荐质量的鲁棒性如何？
• RQ5 在缺乏专家标注概念的情况下，该模型在多样化的内容和学生群体中具有多大程度的泛化能力？

主要发现

• 即使未进行特征工程，LSE模型在评估结果预测方面仍表现出与基线模型相当的性能。
• 该模型在真实世界数据中成功区分了导致掌握的课程序列与导致失败的课程序列。
• 倾向得分匹配显示，推荐路径的通过率更高，且当路径质量差异显著时，该效应更加明显。
• 在匹配中使用不同数量的最近邻时，该模型的推荐质量保持稳定，表明因果估计具有鲁棒性。
• 该方法在多样化教育内容和学生群体中表现出良好的泛化能力，Knewton大规模数据集（超过200万条访问日志）已验证其有效性。
• 已公开实现代码和Jupyter笔记本，支持结果复现与框架扩展。