[论文解读] Improving Neural Question Generation using Answer Separation

Yanghoon Kim, Hwanhee Lee+2 more|arXiv (Cornell University)|Sep 7, 2018

Topic Modeling参考文献 22被引用 10

一句话总结

本文提出了一种名为答案分离序列到序列（answer-separated seq2seq）的新型神经机器阅读理解问题生成模型，通过在篇章中将目标答案替换为特殊标记<a>，使模型在生成问题时不再包含答案词汇，从而提升问题质量。通过分离答案信息并引入关键词网络模块，该模型显著减少了不恰当问题的生成，在SQuAD数据集上表现优于先前的最先进模型，在仅包含单一名词实体答案的子集上达到49.09的EM和56.57的F1分数，用于训练机器阅读理解系统时表现优异。

ABSTRACT

Neural question generation (NQG) is the task of generating a question from a given passage with deep neural networks. Previous NQG models suffer from a problem that a significant proportion of the generated questions include words in the question target, resulting in the generation of unintended questions. In this paper, we propose answer-separated seq2seq, which better utilizes the information from both the passage and the target answer. By replacing the target answer in the original passage with a special token, our model learns to identify which interrogative word should be used. We also propose a new module termed keyword-net, which helps the model better capture the key information in the target answer and generate an appropriate question. Experimental results demonstrate that our answer separation method significantly reduces the number of improper questions which include answers. Consequently, our model significantly outperforms previous state-of-the-art NQG models.

研究动机与目标

• 解决神经问题生成（NQG）模型生成的问题中不当包含目标答案词汇的问题。
• 通过利用掩码篇章中的上下文线索，提升模型生成恰当疑问词的能力。
• 在从篇章中移除目标答案后，通过引入关键词网络模块增强对目标答案内容的感知能力。
• 评估答案分离在减少答案泄露、提升问题相关性与流畅性方面的有效性。
• 证明该模型生成的问题可有效用于微调下游机器阅读理解系统。

提出的方法

• 将输入篇章中的目标答案替换为特殊标记<a>，以防止答案词汇直接泄露到生成的问题中。
• 使用RNN编码器处理掩码后的篇章，使模型能够学习<a>标记周围的上下文依赖关系。
• 引入关键词网络模块，从被隔离的目标答案中提取关键信息，以维持对答案内容的感知。
• 采用检索式词生成器，以更好地捕捉问题生成过程中的语义关系。
• 在SQuAD数据集上，使用答案分离后的输入，端到端训练（篇章，问题，答案）三元组模型。
• 通过自动指标（EM、F1）和在下游机器阅读理解系统中的迁移性能来评估模型表现。

实验结果

研究问题

• RQ1 答案分离是否能减少生成问题中目标答案词汇的出现？
• RQ2 模型能否仅依靠掩码后的篇章和<a>标记，准确预测疑问词（如谁、何时）？
• RQ3 与仅依赖答案位置特征的模型相比，关键词网络模块在多大程度上提升了问题生成质量？
• RQ4 该模型生成的问题在多大程度上可用于预训练下游机器阅读理解系统？
• RQ5 答案分离是否能改善<a>标记与疑问词之间的注意力对齐？

主要发现

• 所提出的答案分离序列到序列模型显著减少了生成问题中答案词汇的出现，有效降低了不恰当问题的生成。
• 当在模型生成的合成数据上进行训练时，该模型在仅包含单一名词实体答案的SQuAD开发集子集上，达到49.09的EM和56.57的F1分数。
• 注意力可视化显示，疑问词（如'who'）对<a>标记赋予了较高的注意力权重，证实模型已学会将<a>与问题类型相关联。
• 关键词网络模块通过在篇章中移除答案后仍保持对答案内容的感知，显著提升了模型性能。
• 该模型在SQuAD数据集上优于先前的最先进NQG模型，展现出更优的问题质量与泛化能力。
• 该模型生成的问题自然流畅，足以用于训练下游机器阅读理解系统并达到可接受的性能水平。