[论文解读] Development and Evaluation of a Personalized Computer-aided Question Generation for English Learners to Improve Proficiency and Correct Mistakes

Yi-Ting Huang, Meng Chang Chen+1 more|arXiv (Cornell University)|Aug 29, 2018

Educational Technology and Assessment参考文献 31被引用 5

一句话总结

本文提出了一种针对英语学习者的个性化计算机辅助问题生成系统，该系统根据学习者的熟练程度和错误模式，动态调整问题的难度和类型（词汇、语法和阅读理解）。结果表明，使用个性化系统的学生成绩提升更显著，纠错频率更高，且能更成功地回答难度更高的问题，优于使用标准自动化问题生成的学生。

ABSTRACT

In the last several years, the field of computer assisted language learning has increasingly focused on computer aided question generation. However, this approach often provides test takers with an exhaustive amount of questions that are not designed for any specific testing purpose. In this work, we present a personalized computer aided question generation that generates multiple choice questions at various difficulty levels and types, including vocabulary, grammar and reading comprehension. In order to improve the weaknesses of test takers, it selects questions depending on an estimated proficiency level and unclear concepts behind incorrect responses. This results show that the students with the personalized automatic quiz generation corrected their mistakes more frequently than ones only with computer aided question generation. Moreover, students demonstrated the most progress between the pretest and post test and correctly answered more difficult questions. Finally, we investigated the personalizing strategy and found that a student could make a significant progress if the proposed system offered the vocabulary questions at the same level of his or her proficiency level, and if the grammar and reading comprehension questions were at a level lower than his or her proficiency level.

研究动机与目标

• 解决计算机辅助语言学习中通用的、一刀切式问题生成的局限性。
• 通过根据学习者的熟练程度和误解定制问题，改善学习成果。
• 探究个性化问题生成是否能提升错误纠正能力和在高难度题目上的表现。
• 评估基于学习者错误和技能水平的自适应题目选择的有效性。
• 确定不同题目类型的最佳难度水平，以最大化学习收益。

提出的方法

• 系统生成三种类型的选择题：词汇、语法和阅读理解。
• 通过诊断性前测估计学习者的熟练程度，并分析错误回答以检测概念性误解。
• 根据学习者的估计熟练程度和错误模式选择题目，其中词汇题保持在相同水平，语法和阅读理解题则略低于其熟练水平。
• 系统采用自适应难度调节机制，确保题目对学习者当前能力而言既不太简单也不太难。
• 为每位学习者生成个性化测验，聚焦其薄弱环节，同时通过适度挑战维持学习兴趣。
• 通过前测-后测设计评估系统，比较个性化与非个性化问题生成的效果。

实验结果

研究问题

• RQ1 个性化问题生成是否相比标准计算机辅助问题生成，能带来更大的错误纠正改善？
• RQ2 问题难度水平如何影响词汇、语法和阅读理解方面的学习收益？
• RQ3 通过错误分析针对性地解决误解，能否提升长期记忆保持和表现？
• RQ4 为不同题目类型确定的最佳难度水平是什么，以最大化学习进展？
• RQ5 个性化问题生成是否使学习者在后测中能更成功地回答更高难度的问题？

主要发现

• 使用个性化系统的学生成绩纠错频率显著高于使用标准计算机辅助问题生成的学生。
• 学习者在使用个性化系统时，从前测到后测的提升最为显著。
• 与非个性化基线相比，个性化系统使学生在后测中能更成功地回答更高难度的问题。
• 针对学习者当前熟练水平的词汇题带来了最显著的进步。
• 略低于学习者熟练水平的语法和阅读理解题对提升效果最为显著。
• 基于错误模式和熟练度估计的个性化策略显著提升了学习成果。