[论文解读] Learning to Automatically Generate Fill-In-The-Blank Quizzes

Edison Marrese-Taylor, Ai Nakajima+2 more|arXiv (Cornell University)|Jun 12, 2018

Topic Modeling参考文献 11被引用 3

一句话总结

本文提出两种深度学习方法——序列标注与序列分类——采用双向LSTM，从自然语言句子中自动生成填空题。在包含约150万条样本的真实语言学习平台数据集上评估，两种模型的F1分数和准确率均超过88%，证明了基于学习的、自适应填空题生成在无需手工规则或干扰项设计的情况下具有可行性。

ABSTRACT

In this paper we formalize the problem automatic fill-in-the-blank question generation using two standard NLP machine learning schemes, proposing concrete deep learning models for each. We present an empirical study based on data obtained from a language learning platform showing that both of our proposed settings offer promising results.

研究动机与目标

• 将自动填空题生成任务形式化为使用深度学习的序列标注与序列分类问题。
• 用基于数据的端到端学习方法替代基于规则或模板的填空题生成方法，利用用户交互数据进行训练。
• 通过基于真实平台使用模式的用户能力与风格分析，实现自适应学习，生成个性化难度与风格的填空题。
• 评估词嵌入表示学习在生成上下文恰当填空中的有效性。
• 探索从无标注、真实世界用户生成的填空题数据中进行弱监督或无监督学习的潜力。

提出的方法

• 将任务形式化为序列标注问题，其中句子中的每个词元都被赋予一个标签，以指示是否应被替换为空白。
• 将任务形式化为序列分类问题，模型从句子中预测应被空白化的正确词语。
• 两种模型均使用300维词嵌入和300维隐藏状态的双向LSTM。
• 在LSTM层前后应用dropout，正则化率为0.2，以防止过拟合。
• 使用Adam优化器进行训练，基础初始学习率为0.001，并将梯度范数裁剪至最大5。
• 采用70/10/20的划分比例进行训练、验证和测试，使用CoreNLP进行句子级分词和词性标注。

实验结果

研究问题

• RQ1 双向LSTM模型能否有效学习识别句子中适合作为填空内容的最合适成分？
• RQ2 在自动填空题生成任务中，序列标注与序列分类方法在性能上如何比较？
• RQ3 在语言学习平台的真实用户生成填空题数据上训练的模型，能在多大程度上泛化到未见的句子？
• RQ4 仅通过词嵌入的表示学习，是否足以实现高质量的填空选择，而无需手工设计的特征？
• RQ5 此类模型能否通过生成不同难度与风格的填空题，支持自适应学习？

主要发现

• 序列标注模型在测试集上的F1得分为88.80%，精确率与召回率分别为88.56%和88.34%。
• 序列分类模型在测试集上达到89.31%的准确率，表明其在选择正确填空词方面表现优异。
• 两种模型均展现出稳健的泛化能力，验证集与测试集之间的性能下降极小。
• 结果表明，基于用户生成数据的端到端学习可有效替代基于规则或模板的填空题生成方法。
• 模型性能表明，仅依靠词嵌入的表示学习已足够实现高质量的填空选择，无需依赖POS标签或依存句法分析等外部特征。
• 本研究为自适应填空题生成系统奠定了基础，使其能够从真实用户交互中学习，并根据个体学习风格与难度水平定制内容。