[论文解读] Adaptive and Personalized Exercise Generation for Online Language Learning

Peng Cui, Mrinmaya Sachan|arXiv (Cornell University)|Jun 4, 2023

Online Learning and Analytics被引用 2

一句话总结

该论文提出了一种混合模型，将知识追踪（KT）与基于预训练语言模型的可控文本生成相结合，以生成自适应、个性化的在线语言学习练习。通过估计学生知识状态的动态演变，并根据目标难度和词汇生成针对性练习，该模型在模拟研究中优于基线方法，通过动态、个性化的练习排序，实现了更快的知识获取和更高的学习效率。

ABSTRACT

Adaptive learning aims to provide customized educational activities (e.g., exercises) to address individual learning needs. However, manual construction and delivery of such activities is a laborious process. Thus, in this paper, we study a novel task of adaptive and personalized exercise generation for online language learning. To this end, we combine a knowledge tracing model that estimates each student's evolving knowledge states from their learning history and a controlled text generation model that generates exercise sentences based on the student's current estimated knowledge state and instructor requirements of desired properties (e.g., domain knowledge and difficulty). We train and evaluate our model on real-world learner interaction data from Duolingo and demonstrate that LMs guided by student states can generate superior exercises. Then, we discuss the potential use of our model in educational applications using various simulations. These simulations show that our model can adapt to students' individual abilities and can facilitate their learning efficiency by personalizing learning sequences.

研究动机与目标

• 为解决在线语言学习平台中手动创建个性化、自适应练习的挑战。
• 开发一种系统，能够根据学生的知识状态以及教师定义的属性（如难度和词汇）动态生成定制化练习。
• 评估基于学生知识状态引导的语言模型是否能生成比静态或模板化方法更高质量、更有效的练习。
• 通过模拟演示该模型通过个性化练习排序提升学习效率的能力。

提出的方法

• 该模型使用知识追踪（KT）组件，具体为深度知识追踪（DKT），基于学生的学习历史估计其对词汇和技能掌握程度的动态演变。
• 将预训练语言模型进行微调，以生成基于翻译的练习，其条件为学生的当前知识状态估计值及教师指定的属性（如目标词汇、难度等级）。
• 难度建模为学生预测表现的函数，通过预期错误数量（例如0.3至0.7）控制难度。
• 系统采用两阶段流程：首先，KT从过往交互中推断学生的知识状态；其次，语言模型基于该状态和期望属性生成新练习。
• 该模型支持个性化生成（通过控制码实现）和自适应选择策略（如EXPECTIMAX-GEN），以优化知识获取。
• 使用真实的Duolingo交互数据进行模拟，以评估该模型对知识增长和学习效率的影响。

实验结果

研究问题

• RQ1 能否通过学生实时知识状态引导的语言模型，生成比静态或模板化方法更有效、更个性化的练习？
• RQ2 将知识追踪与可控文本生成相结合，如何提升练习质量与学习成果？
• RQ3 该模型在多大程度上能够适应个体学生的知识水平，并优化练习序列以实现更快学习？
• RQ4 生成新颖、未见过的练习（而非从固定题库中选择）是否能带来更好的知识获取效果？

主要发现

• 在EXPECTIMAX-GEN策略下，该模型生成的练习显著加快了知识增长，优于基线方法，包括随机选择和基于题库的EXPECTIMAX方法。
• 在相同练习机会数量下，模型生成的练习实现了更高的知识状态提升，证明了其更优的学习效率。
• 约70%的EXPECTIMAX-GEN生成练习在训练语料中未出现过，表明其具备良好的新颖性与个性化能力。
• 该模型优于固定难度和题库受限策略，表明动态、基于知识引导的生成比静态或受限选择更有效。
• 模拟结果证实，该模型能够适应个体学习进度，并维持最优难度水平，符合“理想难度”原则（d ≈ 0.5）。
• 将DKT与可控生成相结合，有效提升了个性化与自适应能力，模型在词汇覆盖与难度定位之间实现了良好平衡。