[论文解读] A Multivariate Elo-based Learner Model for Adaptive Educational Systems

Solmaz Abdi, Hassan Khosravi+2 more|arXiv (Cornell University)|Oct 15, 2019

Online Learning and Analytics被引用 10

一句话总结

本文提出 M-Elo，一种基于多变量 Elo 的学习者模型，将传统 Elo 评分系统扩展至支持多概念标记的学习项目，从而在以学生为中心的学习环境中实现更优的自适应性。在合成数据集和公开数据集上的评估表明，M-Elo 的预测性能略优于标准 Elo 模型，并且在集成到开放学习者模型（OLM）后，为学生和教师提供了更深入的洞察。

ABSTRACT

The Elo rating system has been recognised as an effective method for modelling students and items within adaptive educational systems. The existing Elo-based models have the limiting assumption that items are only tagged with a single concept and are mainly studied in the context of adaptive testing systems. In this paper, we introduce a multivariate Elo-based learner model that is suitable for the domains where learning items can be tagged with multiple concepts, and investigate its fit in the context of adaptive learning. To evaluate the model, we first compare the predictive performance of the proposed model against the standard Elo-based model using synthetic and public data sets. Our results from this study indicate that our proposed model has superior predictive performance compared to the standard Elo-based model, but the difference is rather small. We then investigate the fit of the proposed multivariate Elo-based model by integrating it into an adaptive learning system which incorporates the principles of open learner models (OLMs). The results from this study suggest that the availability of additional parameters derived from multivariate Elo-based models have two further advantages: guiding adaptive behaviour for the system and providing additional insight for students and instructors.

研究动机与目标

• 解决现有基于 Elo 的模型假设学习项目仅关联单一概念的局限性，且主要应用于自适应测试而非自适应学习。
• 开发一种多变量学习者模型，能够同时估计学生在多个概念上的熟练度和项目难度。
• 通过合成数据集和公开数据集，评估所提出的 M-Elo 模型与标准 Elo 模型在预测性能上的对比。
• 研究 M-Elo 在真实世界自适应学习系统中的实际优势，特别是在指导自适应行为和支持开放学习者模型（OLMs）方面。
• 识别基于 Elo 的模型在长期自适应学习情境中的局限性，特别是关于零和博弈特性与不确定性函数的问题。

提出的方法

• 将标准 Elo 评分系统扩展为多变量框架，其中每个学习项目关联多个概念，每个概念均拥有独立的熟练度与难度评分。
• 采用成对比较机制，根据学生在多概念项目上的表现，基于正确性与相对难度，分别更新每个概念的评分。
• 应用动态不确定性函数，随着尝试次数增加而降低评分更新的敏感度，旨在随时间稳定估计结果。
• 将 M-Elo 集成到支持开放学习者模型（OLMs）的自适应学习系统中，使学生和教师能够查看各概念层面的评分。
• 采用基于标准 Elo 公式的递归更新规则，经修改后按各概念对项目的贡献比例分配评分变化。
• 使用合成数据验证模型在不同参数设置下的鲁棒性，并利用公开数据集评估预测准确性。

实验结果

研究问题

• RQ1 多变量 Elo 基于模型能否有效在自适应学习系统中建模学生在多个概念上的熟练度与项目难度？
• RQ2 M-Elo 在合成数据集和真实世界数据集上的预测性能与标准 Elo 模型相比如何？
• RQ3 在集成到自适应学习系统后，M-Elo 除了提升预测准确性外，还提供了哪些额外优势？
• RQ4 零和博弈假设与不确定性函数如何影响模型在长期自适应学习中的适用性？
• RQ5 M-Elo 在多大程度上可通过为学生和教师提供可操作的洞察，支持开放学习者模型（OLMs）？

主要发现

• 在合成数据实验中，M-Elo 在各种参数设置下表现出一致且符合预期的行为，表明其在真实世界部署中具备鲁棒性。
• 在公开基准数据集上，M-Elo 的预测性能略优于标准 Elo 模型，尽管提升幅度较小。
• 当集成到自适应学习系统中时，M-Elo 实现了概念层面的能力估计，使系统能够根据个体概念的掌握程度选择合适项目，从而实现自适应。
• 通过开放学习者模型展示 M-Elo 评分，显著提升了学生的动机和对系统推荐的信任度。
• 教师反馈表明，M-Elo 为班级整体及个体层面的知识盲区提供了可操作的洞察，尤其突出了在 'Map-ER-Schema' 和 'Map-Schema-ER' 概念上的表现不佳。
• 本研究发现，基于 Elo 的模型中零和博弈设计与不确定性函数可能妨碍对长期自适应学习中知识状态演变的准确表示，提示此类模型在该情境下存在局限性。