[论文解读] RLTutor: Reinforcement Learning Based Adaptive Tutoring System by Modeling Virtual Student with Fewer Interactions

Yoshiki Kubotani, Yoshihiro Fukuhara+1 more|arXiv (Cornell University)|Jul 31, 2021

Intelligent Tutoring Systems and Adaptive Learning参考文献 23被引用 7

一句话总结

本文提出 RLTutor，一种基于强化学习的自适应辅导系统，通过建模虚拟学生来减少策略优化过程中的真实互动。通过在大规模学习数据上预训练数学学生模型，并利用极少的真实学生反馈进行微调，RLTutor 在记忆保持方面优于基线方法，展示了理论优化与实际在线教育应用之间的一座实用桥梁。

ABSTRACT

A major challenge in the field of education is providing review schedules that present learned items at appropriate intervals to each student so that memory is retained over time. In recent years, attempts have been made to formulate item reviews as sequential decision-making problems to realize adaptive instruction based on the knowledge state of students. It has been reported previously that reinforcement learning can help realize mathematical models of students learning strategies to maintain a high memory rate. However, optimization using reinforcement learning requires a large number of interactions, and thus it cannot be applied directly to actual students. In this study, we propose a framework for optimizing teaching strategies by constructing a virtual model of the student while minimizing the interaction with the actual teaching target. In addition, we conducted an experiment considering actual instructions using the mathematical model and confirmed that the model performance is comparable to that of conventional teaching methods. Our framework can directly substitute mathematical models used in experiments with human students, and our results can serve as a buffer between theoretical instructional optimization and practical applications in e-learning systems.

研究动机与目标

• 为解决基于强化学习的自适应辅导系统中高互动成本的挑战。
• 减少在自适应教学中优化策略所需的真正学生互动次数。
• 开发一种框架，通过使用预训练的数学模型来模拟学生行为，实现基于强化学习的辅导系统在实际中的部署。
• 在使用模拟学生模型的真实实验环境中，评估所提方法的有效性。
• 识别当前损失函数和模型保真度中的局限性，这些因素会影响实际应用中的性能。

提出的方法

• 在大规模学习数据上预训练一个数学学生模型（DAS3H），以模拟真实的学生知识状态和响应模式。
• 将预训练模型用作虚拟环境，训练一个强化学习智能体以实现自适应辅导，从而最小化与真实学生的直接互动。
• 在内部模型中实施约束损失函数，以保持预训练权重，防止微调过程中的灾难性遗忘。
• 将辅导任务建模为序列决策问题，其中智能体选择项目以最大化长期记忆保持。
• 基于项目随时间的回忆率设计奖励函数，并利用虚拟学生模型的反馈来指导策略学习。
• 使用 DAS3H 模型估计知识状态并预测未来表现，从而实现在数据高效条件下的策略优化。

实验结果

研究问题

• RQ1 一个预训练的学生学习数学模型是否能减少优化基于强化学习的辅导策略所必需的真实互动次数？
• RQ2 与传统的启发式和随机辅导方法相比，所提出的 RLTutor 框架在记忆保持方面的表现如何？
• RQ3 内部模型损失函数中的约束对策略优化和学生表现有何影响？
• RQ4 为何 ThresholdTutor 在数学模型上表现良好，但在所提出的实验设置中表现不佳？
• RQ5 虚拟学生模型与真实学生之间的差距在多大程度上影响了策略优化的有效性？

主要发现

• RLTutor 在记忆保持率方面优于 RandomTutor 和 ThresholdTutor，证明了使用虚拟学生模型进行策略优化的有效性。
• 与传统方法相比，所提方法在时间上保持了更高的平均记忆率，尤其是在后期会话中表现更优。
• ThresholdTutor 表现不佳，是因为其模型即使在多次重复暴露后仍容易遗忘，导致对中等记忆水平的项目反复呈现。
• 由于实验设置中学习周期较长且题目较少，各方法的最终表现趋于相似，这是由于学习时间充足所致。
• 内部模型损失函数中施加的强约束可能限制了微调过程，降低了实验中的适应能力。
• 结果凸显了需重新审视损失函数的功能形式，以提升模型的适应性和整体性能。