[论文解读] Curriculum Q-Learning for Visual Vocabulary Acquisition

Ahmed Zaidi, Russell Moore+1 more|arXiv (Cornell University)|Nov 29, 2017

Visual and Cognitive Learning Processes参考文献 10被引用 3

一句话总结

本文提出了一种课程Q-learning框架，通过强化学习根据学习者的熟练程度个性化地调整视觉词汇习得过程。该系统基于学习者的最近发展区（ZPD）动态选择词汇，实现了在初学者、中级和高级模拟学习者中的学习效率提升与自适应进度。

ABSTRACT

The structure of curriculum plays a vital role in our learning process, both as children and adults. Presenting material in ascending order of difficulty that also exploits prior knowledge can have a significant impact on the rate of learning. However, the notion of difficulty and prior knowledge differs from person to person. Motivated by the need for a personalised curriculum, we present a novel method of curriculum learning for vocabulary words in the form of visual prompts. We employ a reinforcement learning model grounded in pedagogical theories that emulates the actions of a tutor. We simulate three students with different levels of vocabulary knowledge in order to evaluate the how well our model adapts to the environment. The results of the simulation reveal that through interaction, the model is able to identify the areas of weakness, as well as push students to the edge of their ZPD. We hypothesise that these methods can also be effective in training agents to learn language representations in a simulated environment where it has previously been shown that order of words and prior knowledge play an important role in the efficacy of language learning.

研究动机与目标

• 开发一种基于教学理论的个性化课程，用于视觉词汇习得，采用强化学习方法。
• 模拟自动化导师如何适应不同CEFR熟练程度水平（A1至C2）的学习者。
• 评估系统是否能够识别学习者的薄弱环节，并将其引导至最近发展区（ZPD）的边缘。
• 探讨强化学习组件与第二语言习得理论（如克拉申的i+1假设）之间的相似性。
• 为未来基于强化学习的教学系统奠定基础，整合记忆机制、间隔重复和深度学习技术。

提出的方法

• 智能体作为导师，使用Q-learning根据学习者的熟练程度选择视觉词汇项目（单词）。
• 环境为一个模拟学习者，其回答概率基于学习者水平（u）与项目水平（q）之差，采用负向Gompertz分布建模。
• Q值更新规则遵循标准Q-learning：$Q(s,a)\leftarrow Q(s,a)+\alpha[r+\gamma\max_{a'}Q(s',a')-Q(s,a)]$，其中状态由学习者熟练程度定义，动作由词汇选择定义。
• 系统采用课程策略，优先选择处于学习者ZPD内的项目，确保渐进式进展。
• 熟练程度水平映射至CEFR量表（0 = A1，6 = C2），智能体通过100次交互最大化累积奖励。
• 模型采用ε-greedy策略平衡探索与利用，与第二语言习得中的输入假设（i+1）相一致。

实验结果

研究问题

• RQ1 强化学习智能体能否学会构建个性化课程，以适应不同学习者的词汇熟练程度？
• RQ2 该系统在不同熟练程度水平下，多大程度上能有效识别并针对学习者的最近发展区（ZPD）？
• RQ3 与静态或非自适应方法相比，该课程策略在多大程度上提升了学习效果？
• RQ4 Q-learning组件（如ε-greedy、Q值更新）与第二语言习得理论（如克拉申的i+1假设）之间存在哪些相似性？
• RQ5 该系统能否扩展以整合记忆机制、间隔重复和深度学习，以提升长期记忆保持率和可扩展性？

主要发现

• 智能体成功适应了每位学习者的熟练程度水平，在100次交互中，保持初学者在A1–A2水平，并引导中级学习者达到B2（第3级）水平。
• 高级学习者被分配略高于其当前水平的项目，累积奖励表明其在初始熟练程度基础上实现了进步。
• 当学习者达到当前能力极限时，系统显示出明显的累积奖励下降趋势，表明智能体已将其推至ZPD的边缘。
• 模型在不同熟练程度水平下表现出明显的行为差异，证实课程具有个性化特征，并能响应个体学习状态。
• Q-learning的使用通过最小化步骤数并最大化学习效率，确保了通向语言流利的最优路径。
• 该框架为使用基于学习者交互的度量指标，评估新词汇项目的难度与适宜性，提供了一个可扩展的测试平台。