[论文解读] Combining Difficulty Ranking with Multi-Armed Bandits to Sequence Educational Content

Avi Segal, Yossi Ben David+3 more|arXiv (Cornell University)|Apr 14, 2018

Advanced Bandit Algorithms Research参考文献 12被引用 11

一句话总结

本文提出MAPLE，一种新颖的算法，通过将个性化难度排序与多臂赌博机相结合，动态地为每位学生安排教育题目序列。该算法利用学生过往表现来估计学习收益，并采用探索-利用策略，在模拟实验和真实课堂部署中，相较于专家制定的题目序列与贝叶斯知识追踪方法，显著提升了学习成效与学生满意度。

ABSTRACT

As e-learning systems become more prevalent, there is a growing need for them to accommodate individual differences between students. This paper addresses the problem of how to personalize educational content to students in order to maximize their learning gains over time. We present a new computational approach to this problem called MAPLE (Multi-Armed Bandits based Personalization for Learning Environments) that combines difficulty ranking with multi-armed bandits. Given a set of target questions MAPLE estimates the expected learning gains for each question and uses an exploration-exploitation strategy to choose the next question to pose to the student. It maintains a personalized ranking over the difficulties of question in the target set which is used in two ways: First, to obtain initial estimates over the learning gains for the set of questions. Second, to update the estimates over time based on the students responses. We show in simulations that MAPLE was able to improve students' learning gains compared to approaches that sequence questions in increasing level of difficulty, or rely on content experts. When implemented in a live e-learning system in the wild, MAPLE showed promising results. This work demonstrates the efficacy of using stochastic approaches to the sequencing problem when augmented with information about question difficulty.

研究动机与目标

• 为解决在线教育系统中个性化教育内容排序的挑战，以适应个体学生的差异。
• 通过动态选择在挑战性与掌握程度之间取得平衡的题目，基于学生特定的表现数据，提升学习成效。
• 将基于历史学生互动数据的离线难度排序与在线多臂赌博机决策机制相结合，实现实时自适应。
• 评估将难度估计与基于赌博机的探索-利用策略相结合，是否能带来优于专家制定或纯模型驱动的排序方式的学习成果。
• 评估学生在面对动态排序内容与静态或专家排序序列时的满意度与参与度。

提出的方法

• MAPLE使用从相似学生群体表现数据聚合中得出的个性化题目难度排序，为每位学习者形成题目难度的基线估计。
• 该算法采用基于Thompson采样的多臂赌博机框架，根据预期学习收益，平衡探索（尝试不确定性较高的题目）与利用（选择高潜力题目）。
• 对正确与错误的回答区别对待，在失败后变得更加保守（倾向于选择较简单题目），以降低认知负荷并防止学生气馁。
• 通过学生响应实时更新难度排序，使系统能够适应技能水平的变化，并随时间优化题目选择。
• 初始的学习收益估计基于难度排序，作为赌博机模型中的先验信息，以加速收敛并提升早期表现。
• 系统维护一个动态的、个性化的题目排序，其随个体与群体层面的表现模式而演变。

实验结果

研究问题

• RQ1 将离线难度排序与在线多臂赌博机优化相结合，是否能相比专家制定的静态排序方式，提升学习成效？
• RQ2 MAPLE的自适应排序策略在学习成果方面，相较于贝叶斯知识追踪（BKT）与递增难度排序方式有何差异？
• RQ3 在赌博机模型中引入难度排序作为先验，是否能提升在线学习过程的收敛速度与性能？
• RQ4 与基线排序方法相比，MAPLE在多大程度上提升了学生满意度与对系统自适应能力的感知？
• RQ5 该算法在不同学生能力水平上的表现如何，特别是对需要更多定制化干预的较弱学生？

主要发现

• 在真实课堂实验中，使用MAPLE的学生后测平均成绩为71.28，显著优于递增排序组（43.76）与YBKT组（67.08）。
• MAPLE组学生后测成绩净提升4.99分，而递增排序组下降2.83分，YBKT组仅提升1.26分。
• 使用MAPLE的学生平均每道题耗时10.69秒，表明其参与高效且未牺牲学习成效。
• MAPLE组的学生满意度显著更高，其在3分制量表上的平均同意度得分为2.39，高于递增排序组的2.23与YBKT组的2.20，p < 0.05。
• 模拟实验表明，MAPLE在平均与较强学生中，优于专家制定的排序与无难度初始化的赌博机方法。
• 该算法表现出自适应行为，能根据答题模式调整题目选择，在失败后变得更加保守，以降低认知负荷。