[论文解读] Automating Reading Comprehension by Generating Question and Answer Pairs

Vishwajeet Kumar, Kireeti Boorla+3 more|arXiv (Cornell University)|Mar 7, 2018

Topic Modeling参考文献 17被引用 12

一句话总结

本文提出了一种两阶段神经框架，用于自动化阅读理解，通过首先使用指针网络识别关键答案片段，然后利用增强丰富语言特征和答案编码的序列到序列模型生成上下文相关的提问，从而生成高质量的问答对。该方法在自动指标和人工评估中均显著优于当前最先进方法，问题生成的BLEU分数最高提升4分，相关性提高12.3%。

ABSTRACT

Neural network-based methods represent the state-of-the-art in question generation from text. Existing work focuses on generating only questions from text without concerning itself with answer generation. Moreover, our analysis shows that handling rare words and generating the most appropriate question given a candidate answer are still challenges facing existing approaches. We present a novel two-stage process to generate question-answer pairs from the text. For the first stage, we present alternatives for encoding the span of the pivotal answer in the sentence using Pointer Networks. In our second stage, we employ sequence to sequence models for question generation, enhanced with rich linguistic features. Finally, global attention and answer encoding are used for generating the question most relevant to the answer. We motivate and linguistically analyze the role of each component in our framework and consider compositions of these. This analysis is supported by extensive experimental evaluations. Using standard evaluation metrics as well as human evaluations, our experimental results validate the significant improvement in the quality of questions generated by our framework over the state-of-the-art. The technique presented here represents another step towards more automated reading comprehension assessment. We also present a live system \footnote{Demo of the system is available at \url{https://www.cse.iitb.ac.in/~vishwajeet/autoqg.html}.} to demonstrate the effectiveness of our approach.

研究动机与目标

• 解决现有问题生成系统仅关注问题生成而未联合生成答案与问题的差距。
• 通过引入答案编码和丰富的语言特征，提升句法和语义正确性，从而提高生成问题的质量。
• 开发一种框架，识别句子中最相关的答案片段用于问题生成，以应对罕见词和答案相关性方面的挑战。
• 通过自动指标和人工评估，评估答案编码和语言特征对问题质量的影响。

提出的方法

• 采用两阶段架构：首先，指针网络识别输入句子中最相关的答案片段。
• 其次，序列到序列模型基于输入句子、预测的答案片段以及丰富的语言特征（如词性标注、依存句法分析、命名实体）生成问题。
• 通过全局注意力机制将答案编码整合到解码器中，以提升问题与目标答案之间的相关性。
• 模型采用改进的解码器，同时关注输入句子和答案表示，增强对答案感知的问题生成能力。
• 使用词性标注、依存关系和命名实体识别等语言特征，丰富输入表示，提升泛化能力。
• 框架采用交叉熵损失端到端训练，并通过BLEU、METEOR、ROUGE-L和人工评估进行评估。

实验结果

研究问题

• RQ1 与现有方法相比，一种联合检测答案片段并生成问题的两阶段神经框架是否能提升问题质量？
• RQ2 丰富的语言特征在多大程度上影响生成问题的句法和语义正确性？
• RQ3 答案编码在多大程度上提升了生成问题与目标答案的相关性？
• RQ4 预测最合适的答案片段（而非依赖真实答案）是否能提升问题生成性能？
• RQ5 不同组合的语言特征与答案编码在多大程度上影响问答对的整体质量？

主要发现

• 所提出的模型QG+F+GAE（结合语言特征与真实答案编码）在所有指标上均表现最佳，相比最先进QG模型最高提升4 BLEU分。
• 仅添加语言特征，相比基线QG模型，句法正确性提升2%，语义正确性提升9%，相关性提升12.3%。
• 答案编码显著提升了问题的相关性；即使存在语言特征，未使用答案编码的模型仍生成低质量问题。
• 仅使用命名实体作为答案候选的模型QG+F+NE表现较差（仅50%的答案为命名实体），凸显了仅依赖命名实体的局限性。
• 人工评估确认，所提框架生成的问题比现有系统更自然、更相关、语义更准确。
• 该框架表明，联合建模答案片段检测与问题生成可生成更高质量、更符合上下文的问答对。