[论文解读] An Abstractive approach to Question Answering.

Rajarshee Mitra|arXiv (Cornell University)|Nov 16, 2017

Topic Modeling参考文献 13被引用 6

一句话总结

本文提出了一种抽取式问答模型，通过序列到序列学习编码篇章-问题关系来生成答案。该模型通过复制机制和覆盖向量提升了答案的可读性和事实保留能力，在MS-MARCO基准上优于基线模型。

ABSTRACT

Question Answering has come a long way from answer sentence selection, relational QA to reading and comprehension. We move our attention to abstractive question answering by which we facilitate machine to read passages and answer questions by generating them. We frame the problem as a sequence to sequence learning where the encoder being a network that models the relation between question and passage, thereby relying solely on passage and question content to form an abstraction of the answer. Not being able to retain facts and making repetitions are common mistakes that affect the overall legibility of answers. To counter these issues, we employ copying mechanism and maintenance of coverage vector in our model respectively. Our results on MS-MARCO demonstrates it's superiority over baselines and we also show qualitative examples where we improved in terms of correctness and readability.

研究动机与目标

• 开发一种神经抽取式问答系统，通过建模篇章-问题关系来生成答案。
• 通过架构改进解决抽取式生成中的常见问题，如事实丢失和重复。
• 通过引入复制机制和覆盖向量，提升答案的可读性和正确性。
• 在MS-MARCO基准上展示最先进性能。

提出的方法

• 该模型采用序列到序列框架，编码器用于捕捉问题与篇章之间的关系。
• 采用复制机制，以在生成答案时保留篇章中的事实内容。
• 维护覆盖向量，通过跟踪先前关注的标记来减少重复。
• 在MS-MARCO数据集上使用序列到序列学习进行端到端训练。
• 解码过程中使用注意力机制对齐问题与篇章的表示。

实验结果

研究问题

• RQ1 仅使用篇章和问题内容，序列到序列模型能否有效生成抽取式答案？
• RQ2 引入复制机制在生成答案中如何提升事实保留能力？
• RQ3 维护覆盖向量在多大程度上减少了抽取式问答输出中的重复？
• RQ4 所提出的模型是否在MS-MARCO基准上优于现有基线模型？

主要发现

• 与现有基线模型相比，该模型在MS-MARCO基准上取得了更优性能。
• 定性分析表明，生成答案的正确性和可读性得到提升。
• 复制机制能有效将篇章中的关键事实保留在输出中。
• 覆盖向量减少了重复标记的生成，提升了答案的流畅性。