[论文解读] Unbounded Human Learning: Optimal Scheduling for Spaced Repetition

Siddharth Reddy, Igor Labutov+2 more|arXiv (Cornell University)|Feb 23, 2016

Intelligent Tutoring Systems and Adaptive Learning参考文献 15被引用 10

一句话总结

本文提出了一种用于Leitner间隔重复系统的排队网络模型，利用经验记忆数据优化复习调度以最大化学习速度。该研究推导出一个可处理的优化框架，预测当新项目引入速度超过系统容量时，学习结果将出现明显的相变，该预测通过Mechanical Turk实验得到验证。

ABSTRACT

In the study of human learning, there is broad evidence that our ability to retain information improves with repeated exposure and decays with delay since last exposure. This plays a crucial role in the design of educational software, leading to a trade-off between teaching new material and reviewing what has already been taught. A common way to balance this trade-off is spaced repetition, which uses periodic review of content to improve long-term retention. Though spaced repetition is widely used in practice, e.g., in electronic flashcard software, there is little formal understanding of the design of these systems. Our paper addresses this gap in three ways. First, we mine log data from spaced repetition software to establish the functional dependence of retention on reinforcement and delay. Second, we use this memory model to develop a stochastic model for spaced repetition systems. We propose a queueing network model of the Leitner system for reviewing flashcards, along with a heuristic approximation that admits a tractable optimization problem for review scheduling. Finally, we empirically evaluate our queueing model through a Mechanical Turk experiment, verifying a key qualitative prediction of our model: the existence of a sharp phase transition in learning outcomes upon increasing the rate of new item introductions.

研究动机与目标

• 开发一个基于人类记忆科学和排队论的间隔重复系统的正式数学模型。
• 解决现有间隔重复软件中缺乏系统性调度策略的问题，当前系统依赖启发式复习频率。
• 在引入新项目与复习旧项目之间实现最优权衡，以最大化长期学习速率。
• 通过Mechanical Turk研究对模型进行实证验证，测量在不同复习负载下的学习结果。
• 发布代码、数据和框架，以支持自适应学习系统的研究复现与未来研究。

提出的方法

• 作者从Mnemosyne的日志数据中挖掘信息，将记忆保持率建模为强化与延迟的函数，确立记忆衰减的功能形式。
• 构建一个Leitner排队网络模型，其中闪存卡根据回忆表现从一个牌组移动到另一个牌组，每个牌组代表一个具有特定复习频率的队列。
• 引入一种启发式近似方法，将随机模型转化为可处理的调度频率优化问题。
• 推导出每个牌组的最优复习频率与 $1/\sqrt{k}$ 成正比，其中 $k$ 为牌组索引，以平衡新项目引入与复习频率。
• 通过控制项目到达率的Mechanical Turk实验验证模型，测量掌握率及各牌组中的项目分布。
• 通过最大似然估计法估计经验参数（如项目难度 $\theta$ 和复习预算 $U$），并计算学习吞吐量 $\lambda_{\text{out}}$。

实验结果

研究问题

• RQ1 什么是最优的间隔重复系统调度策略，能够最大化长期学习速率？
• RQ2 当新项目引入速率超过系统复习能力时，系统性能如何变化？
• RQ3 排队网络模型能否准确预测人类用户中观察到的学习结果相变？
• RQ4 真实用户日志中的经验记忆动态在多大程度上指导了系统性复习调度算法的设计？
• RQ5 理论模型在多大程度上与受控用户研究中的实际行为相符？

主要发现

• Mechanical Turk研究的经验数据与模拟学习速率曲线高度吻合，验证了理论模型的预测。
• 观察到学习结果的显著相变：学习速率随项目到达率上升至某一阈值前持续增加，超过该阈值后迅速下降，表明用户不堪重负。
• 当到达率超过最优阈值时，大量项目积压在牌组1中，表明复习频率不足以实现掌握。
• 模型预测最优复习调度需采用与 $1/\sqrt{k}$ 成正比的牌组特定复习速率，该预测与实证表现一致。
• 系统达到最大回忆率为 0.663，学习吞吐量 $\lambda_{\text{out}}$ 在高负载下先达到峰值后下降。
• 研究证实，排队模型准确捕捉了系统在高负载下的不稳定性，表现为牌组1失稳而更高牌组保持稳定。