[论文解读] Answering while Summarizing: Multi-task Learning for Multi-hop QA with Evidence Extraction

Kosuke Nishida, Kyosuke Nishida+5 more|arXiv (Cornell University)|May 21, 2019

Topic Modeling参考文献 40被引用 5

一句话总结

本文提出查询聚焦提取器（QFE），一种多任务学习框架，将多跳问答中的证据抽取问题建模为查询聚焦摘要任务。通过在问题上使用注意力机制的RNN，QFE按顺序抽取证据句子，同时建模依赖关系与覆盖度，在HotpotQA（RC）和FEVER（RTE）基准上均实现了最先进的证据抽取性能。

ABSTRACT

Question answering (QA) using textual sources for purposes such as reading comprehension (RC) has attracted much attention. This study focuses on the task of explainable multi-hop QA, which requires the system to return the answer with evidence sentences by reasoning and gathering disjoint pieces of the reference texts. It proposes the Query Focused Extractor (QFE) model for evidence extraction and uses multi-task learning with the QA model. QFE is inspired by extractive summarization models; compared with the existing method, which extracts each evidence sentence independently, it sequentially extracts evidence sentences by using an RNN with an attention mechanism on the question sentence. It enables QFE to consider the dependency among the evidence sentences and cover important information in the question sentence. Experimental results show that QFE with a simple RC baseline model achieves a state-of-the-art evidence extraction score on HotpotQA. Although designed for RC, it also achieves a state-of-the-art evidence extraction score on FEVER, which is a recognizing textual entailment task on a large textual database.

研究动机与目标

• 为解决可解释性多跳问答的挑战，使系统能够提取相关证据句子以增强可解释性。
• 通过建模证据句子之间的依赖关系并确保问题内容的全面覆盖，提升证据抽取性能。
• 将该方法推广至不同问答任务，包括阅读理解（RC）和自然语言蕴含识别（RTE）。
• 证明证据抽取可被有效建模为查询聚焦摘要任务。
• 在无需任务特定架构重构的前提下，实现证据抽取的最先进性能。

提出的方法

• QFE基于查询聚焦摘要模型，利用在问题上具有注意力机制的RNN，按顺序抽取证据句子。
• 通过关注问题并建模已抽取句子之间的依赖关系，动态确定证据句子的数量。
• 采用多任务学习，联合训练问答模型进行答案选择，以及QFE进行证据抽取，共享上下文表示。
• 该方法将证据抽取视为一个序列选择任务，优先选择覆盖问题关键信息的句子。
• 该方法应用于阅读理解（HotpotQA）和自然语言蕴含（FEVER），将两者均视为可解释的多跳问答任务。
• 该方法具有通用性，可与任意问答模型结合，作为证据抽取的即插即用模块。

实验结果

研究问题

• RQ1 多跳问答中的证据抽取能否被有效建模为查询聚焦摘要任务？
• RQ2 与独立抽取相比，基于问题注意力的序列证据抽取是否能更好地建模依赖关系并提升覆盖度？
• RQ3 统一的QFE模型能否在RC和RTE等多样化问答任务上实现最先进性能？
• RQ4 与QFE结合的多任务学习对证据抽取和答案选择性能有何影响？
• RQ5 证据抽取的自适应终止机制在多大程度上提升了精确率和F1分数？

主要发现

• 在HotpotQA上，QFE在测试集上实现了最先进证据抽取性能，F1排名第一，精确率第二，召回率第三。
• 在FEVER基准上，QFE在竞争模型中取得了最高的证据抽取得分，同时保持了相当的答案预测得分。
• 消融实验确认，将基线证据抽取器替换为QFE后，证据抽取性能显著提升。
• 集成模型提升了召回率和F1分数，表明结合多个预测结果可增强对相关证据的覆盖。
• QFE展示了自适应终止能力，通过避免抽取无关句子提升了精确率。
• QFE是首个在HotpotQA证据抽取任务上超越基线的模型，为该任务确立了新的最先进水平。