[论文解读] Better Distractions: Transformer-based Distractor Generation and Multiple Choice Question Filtering

Jeroen Offerijns, Suzan Verberne+1 more|arXiv (Cornell University)|Oct 19, 2020

Topic Modeling参考文献 24被引用 13

一句话总结

本文提出一种基于 GPT-2 的模型，用于使用 RACE 数据集生成高质量的多项选择题（MCQ）干扰项，并结合基于 BERT 的问答（QA）模型仅筛选出可回答的问题。尽管在自动指标上优于先前工作，但人工评估显示 QA 筛选对感知问题质量的提升无统计学显著性，表明其影响有限。

ABSTRACT

For the field of education, being able to generate semantically correct and educationally relevant multiple choice questions (MCQs) could have a large impact. While question generation itself is an active research topic, generating distractors (the incorrect multiple choice options) receives much less attention. A missed opportunity, since there is still a lot of room for improvement in this area. In this work, we train a GPT-2 language model to generate three distractors for a given question and text context, using the RACE dataset. Next, we train a BERT language model to answer MCQs, and use this model as a filter, to select only questions that can be answered and therefore presumably make sense. To evaluate our work, we start by using text generation metrics, which show that our model outperforms earlier work on distractor generation (DG) and achieves state-of-the-art performance. Also, by calculating the question answering ability, we show that larger base models lead to better performance. Moreover, we conducted a human evaluation study, which confirmed the quality of the generated questions, but showed no statistically significant effect of the QA filter.

研究动机与目标

• 为解决多项选择题中生成语义正确且具有教育相关性的干扰项这一研究不足的挑战。
• 通过引入问答（QA）模型作为筛选机制，提升自动生成的 MCQ 的质量。
• 通过人工评估，评估 QA 筛选机制在提升人类感知问题质量方面的有效性。
• 探究更大语言模型是否能提升干扰项生成和 QA 筛选性能。

提出的方法

• 微调 GPT-2 语言模型，基于 RACE 数据集中的问题与上下文对，每对生成三个干扰项。
• 在相同的 RACE 数据集上微调 BERT 模型，用于多项选择题问答，作为筛选机制。
• 提出一种两阶段流程：首先使用 GPT-2 生成问题和干扰项，然后仅保留被 BERT QA 模型正确回答的 MCQ。
• 使用自动指标（BLEU、ROUGE）和人工评估，评估生成的干扰项质量及筛选的影响。
• 评估模型规模对干扰项生成和 QA 性能的影响。
• 探索潜在改进方法，如不确定性估计或在 QA 模型中增加“我不知道”选项，以减少 QA 筛选中的假阳性。

实验结果

研究问题

• RQ1 基于 GPT-2 的模型能否生成在语义上连贯且具有教育相关性的干扰项？
• RQ2 使用基于 BERT 的 QA 模型筛选生成的 MCQ 是否能提升整体生成问题的质量？
• RQ3 语言模型的规模如何影响干扰项生成和 QA 筛选性能？
• RQ4 自动指标与人类对问题质量的判断之间相关性如何？
• RQ5 QA 模型的不确定性对筛选效果有何影响？

主要发现

• 所提出的基于 GPT-2 的干扰项生成模型在所有 BLEU 和 ROUGE 指标上均优于先前最先进方法。
• 更大的基础模型在提升筛选模型的问答能力方面带来了可测量但微小的改进。
• 人工评估确认了生成问题的高质量，但未发现筛选后与未筛选输出在感知质量上存在统计学显著差异。
• QA 筛选步骤的影响极小，且无显著的定性改进，表明该筛选机制可能无法实质性提升人类评分的质量。
• QA 筛选机制的主要局限是假阳性率较高，因为模型可能在结构不良的问题上仍能猜对。
• 未来改进可包括引入不确定性估计，或在 QA 模型中增加“我不知道”预测，以减少假阳性。