[论文解读] Multi-Armed Bandits for Intelligent Tutoring Systems

Benjamin Clément, Didier Roy+2 more|arXiv (Cornell University)|Oct 11, 2013

Advanced Bandit Algorithms Research参考文献 43被引用 106

一句话总结

本文提出了一种基于多臂赌博机（MAB）的智能辅导系统（ITS）方法，通过动态选择预计学习进度最高的活动来个性化学习序列，且仅需极少的领域知识。该方法在学习性能上与专家设计的序列相当，尽管ZPDES在实际应用中表现出更优的适应性，且所需先验信息更少。

ABSTRACT

We present an approach to Intelligent Tutoring Systems which adaptively personalizes sequences of learning activities to maximize skills acquired by students, taking into account the limited time and motivational resources. At a given point in time, the system proposes to the students the activity which makes them progress faster. We introduce two algorithms that rely on the empirical estimation of the learning progress, RiARiT that uses information about the difficulty of each exercise and ZPDES that uses much less knowledge about the problem. The system is based on the combination of three approaches. First, it leverages recent models of intrinsically motivated learning by transposing them to active teaching, relying on empirical estimation of learning progress provided by specific activities to particular students. Second, it uses state-of-the-art Multi-Arm Bandit (MAB) techniques to efficiently manage the exploration/exploitation challenge of this optimization process. Third, it leverages expert knowledge to constrain and bootstrap initial exploration of the MAB, while requiring only coarse guidance information of the expert and allowing the system to deal with didactic gaps in its knowledge. The system is evaluated in a scenario where 7-8 year old schoolchildren learn how to decompose numbers while manipulating money. Systematic experiments are presented with simulated students, followed by results of a user study across a population of 400 school children.

研究动机与目标

• 开发一种能够根据个体学生进度实时自适应的个性化辅导系统，且不依赖于详细的认知模型或学生模型。
• 通过选择单位时间内学习进度最大的活动，应对学习时间与动机有限的挑战。
• 通过学生交互的实证学习进度估计，减少对预定义认知模型的依赖。
• 评估MAB算法在多样化学习者的真实教育环境中的有效性。
• 在模拟与真实用户研究中，比较知识丰富型（RiARiT）与知识轻量型（ZPDES）算法的性能。

提出的方法

• 采用多臂赌博机（MAB）算法，基于实时学习进度估计，平衡对新活动的探索与对高绩效活动的利用。
• 将学生在练习中成功/失败的实证结果作为MAB的奖励信号，以估计学习进度。
• 提出ZPDES，一种仅需粗粒度教学约束和预定义探索图的赌博机算法，最大限度减少专家输入。
• 提出RiARiT，一种利用额外领域知识（如练习难度与知识成分）以实现更好个性化的变体。
• 通过教师提供的标准学习序列初始化探索过程，以启动系统并降低初始探索成本。
• 通过优先选择略高于当前学生能力水平的活动，应用内在动机原理，与“最近发展区”和“心流”理论保持一致。

实验结果

研究问题

• RQ1 基于MAB的方法是否能在假设极少的领域知识与学生模型的前提下，有效个性化智能辅导系统中的学习序列？
• RQ2 在模拟与真实学习场景中，知识轻量型（ZPDES）与知识丰富型（RiARiT）MAB算法的性能表现如何比较？
• RQ3 基于实时学习进度估计的自适应活动选择，是否能比专家设计的序列实现更快的技能习得？
• RQ4 系统通过选择最优挑战水平的活动，在多大程度上维持了学生的学习动机？
• RQ5 该系统能否在具有不同技能水平与学习行为的异质学生群体中实现良好泛化？

主要发现

• 在400名小学生的实际用户研究中，尽管专家提供信息显著更少，ZPDES的表现仍优于RiARiT。
• 即使缺乏详细的认知模型或个体学生建模，系统的学习性能仍与专家设计的序列相当。
• 在多个能力维度上观察到学习速度的显著提升，尤其在技能水平多样的异质学生群体中表现突出。
• 该方法成功识别并弥补了个体学习缺口，使个性化程度超越通用序列。
• ZPDES在真实世界部署中展现出强大的适应性与鲁棒性，适用于实际智能辅导系统应用。
• 该方法通过选择最优难度的活动，有效利用了内在动机原理，提升了学生参与度与学习效率。