[论文解读] EQG-RACE: Examination-Type Question Generation

Xin Jia, Wenjie Zhou+2 more|arXiv (Cornell University)|Dec 11, 2020

Topic Modeling参考文献 46被引用 6

一句话总结

本文提出EQG-RACE，一种新颖的题目生成框架，旨在从RACE数据集中生成强调推理与长篇上下文理解的考试类题目。该框架引入了粗略答案与关键句标注机制，以定位与答案相关的内容，并采用答案引导的图卷积网络（AG-GCN）建模句子间与句内关系，从而在新构建的高质量QG基准数据集上实现最先进性能。

ABSTRACT

Question Generation (QG) is an essential component of the automatic intelligent tutoring systems, which aims to generate high-quality questions for facilitating the reading practice and assessments. However, existing QG technologies encounter several key issues concerning the biased and unnatural language sources of datasets which are mainly obtained from the Web (e.g. SQuAD). In this paper, we propose an innovative Examination-type Question Generation approach (EQG-RACE) to generate exam-like questions based on a dataset extracted from RACE. Two main strategies are employed in EQG-RACE for dealing with discrete answer information and reasoning among long contexts. A Rough Answer and Key Sentence Tagging scheme is utilized to enhance the representations of input. An Answer-guided Graph Convolutional Network (AG-GCN) is designed to capture structure information in revealing the inter-sentences and intra-sentence relations. Experimental results show a state-of-the-art performance of EQG-RACE, which is apparently superior to the baselines. In addition, our work has established a new QG prototype with a reshaped dataset and QG method, which provides an important benchmark for related research in future work. We will make our data and code publicly available for further research.

研究动机与目标

• 为解决现有题目生成模型在SQuAD等基于网络的QA数据集上进行训练时存在的局限性，这些模型难以适用于教育场景中的考试类题目。
• 从RACE数据集中构建一个高质量、领域特定的QG数据集，专注于特定类型题目，以更好地契合真实考试情境。
• 克服在长篇文本中生成具有长句答案和复杂多句推理的题目的挑战。
• 设计一种方法，有效捕捉上下文篇章中的结构与关系信息，以实现面向答案的题目生成。
• 通过公开发布的数据与代码，建立一个新的考试类题目生成基准。

提出的方法

• 采用粗略答案与关键句标注机制，识别并突出显示与答案相关的关键词与句子，提升下游生成任务的输入表示质量。
• 设计答案引导的图卷积网络（AG-GCN），以建模句子与词语之间的依赖关系，聚焦于与答案相关的结构，从而提升长篇上下文中的推理能力。
• AG-GCN动态构建图结构，其中节点代表词语或句子，边的权重基于其与答案的相关性，从而实现对关键信息的关注。
• 框架采用序列到序列生成模型，并结合图编码的上下文表示，以生成语法正确且上下文准确的题目。
• 在编码器中整合答案位置、词性（POS）与命名实体识别（NER）特征，以增强对答案的关注度。
• 该方法在清理后的RACE数据集上进行训练与评估，排除填空题与通用题型及干扰项，专注于特定类型题目。

实验结果

研究问题

• RQ1 在SQuAD等基于网络的QA数据集上训练的题目生成模型，能否有效泛化到真实教育场景中的考试类题目？
• RQ2 当答案为长短语或完整句子而非短跨度时，如何改进答案表示？
• RQ3 基于图的建模在长篇上下文篇章中提升多句推理能力方面，能发挥多大作用？
• RQ4 远距离监督与图卷积网络的结合，能否提升真实考试场景下生成题目的质量与准确性？
• RQ5 所提方法在生成具有复杂推理需求的类考试题目方面，相较于现有最先进方法表现如何？

主要发现

• EQG-RACE在新构建的EQG-RACE基准上达到最先进性能，显著优于现有基线模型在考试类题目生成任务上的表现。
• 该模型在需要多句推理的题目上表现尤为出色，尤其当答案分布在多个句子中时。
• 答案引导的图卷积网络（AG-GCN）有效捕捉了句子间关系，相比标准序列到序列模型，显著提升了题目质量。
• 粗略答案与关键句标注机制通过提升长篇文本中与答案相关的内容定位能力，增强了模型性能。
• 该模型生成的题目比基线模型更准确、更符合上下文语境，尤其在需要跨多句综合推理的复杂题目上表现更优。
• 作者公开了处理后的EQG-RACE数据集与代码，为未来考试类题目生成研究建立了新基准。