[论文解读] Commonsense for Generative Multi-Hop Question Answering Tasks

Lisa Bauer, Yicheng Wang+1 more|arXiv (Cornell University)|Sep 17, 2018

Topic Modeling参考文献 38被引用 14

一句话总结

本文提出了一种基于外部常识知识（来自ConceptNet）增强的多跳生成式问答模型，采用基于点互信息（PMI）与词频的新型选择方法，以及选择性门控注意力机制（NOIC）来整合这些知识。该方法在NarrativeQA上取得了新的 SOTA 成绩，Rouge-L 从 41.49 提升至 44.16，METEOR 从 17.33 提升至 19.03，人工评估也证实了生成答案质量的提升。

ABSTRACT

Reading comprehension QA tasks have seen a recent surge in popularity, yet most works have focused on fact-finding extractive QA. We instead focus on a more challenging multi-hop generative task (NarrativeQA), which requires the model to reason, gather, and synthesize disjoint pieces of information within the context to generate an answer. This type of multi-step reasoning also often requires understanding implicit relations, which humans resolve via external, background commonsense knowledge. We first present a strong generative baseline that uses a multi-attention mechanism to perform multiple hops of reasoning and a pointer-generator decoder to synthesize the answer. This model performs substantially better than previous generative models, and is competitive with current state-of-the-art span prediction models. We next introduce a novel system for selecting grounded multi-hop relational commonsense information from ConceptNet via a pointwise mutual information and term-frequency based scoring function. Finally, we effectively use this extracted commonsense information to fill in gaps of reasoning between context hops, using a selectively-gated attention mechanism. This boosts the model's performance significantly (also verified via human evaluation), establishing a new state-of-the-art for the task. We also show promising initial results of the generalizability of our background knowledge enhancements by demonstrating some improvement on QAngaroo-WikiHop, another multi-hop reasoning dataset.

研究动机与目标

• 为解决在长篇复杂叙事中进行生成式多跳问答的挑战，即模型必须从分散的证据中合成答案并进行隐含推理。
• 识别并整合相关背景常识知识，以弥合上下文跳跃之间的推理断层。
• 开发一种方法，从ConceptNet中选择出既相关又实用的、基于基础事实的多跳关系常识路径。
• 在生成式、非抽取式问答基准（如NarrativeQA）上评估常识知识整合的有效性，并评估其在其他数据集上的泛化能力。

提出的方法

• 提出一种多跳指针-生成模型（MHPGM），包含多个双向注意力层和指针-生成解码器，实现端到端生成。
• 设计一种评分函数，结合点互信息（PMI）与词频，用于从ConceptNet中选择相关且基于事实的多跳常识路径。
• 设计一种必要与可选信息单元（NOIC），利用选择性门控注意力机制，在推理过程中动态整合选定的常识知识。
• 将增强常识知识的模型应用于NarrativeQA，并通过自动指标与人工评估进行性能评估。
• 通过将其应用于QAngaroo-WikiHop（一个抽取式多跳数据集）验证方法的泛化能力，结果显示性能显著提升。

实验结果

研究问题

• RQ1 通过整合外部常识知识填补推理断层，能否显著提升生成式多跳问答模型的性能？
• RQ2 如何从像ConceptNet这样的大型知识图谱中自动选择相关且基于事实的多跳常识关系？
• RQ3 通过门控注意力机制整合选定的常识知识，是否能在复杂叙事中带来可测量的答案生成质量提升？
• RQ4 该常识选择与整合方法在NarrativeQA之外的其他多跳问答数据集上具有多大程度的泛化能力？

主要发现

• MHPGM基线模型在NarrativeQA摘要子任务上取得 41.49 的 Rouge-L 和 17.33 的 METEOR，优于先前的生成式模型。
• 所提出的基于PMI与词频的常识选择方法显著提升性能，Rouge-L 提升至 44.16，METEOR 提升至 19.03。
• 人工评估显示，常识增强模型在 23% 的案例中生成的答案优于基线，41% 的案例被判定为无差别（均优质），表明生成质量高。
• 该方法具有泛化能力：在基线模型中加入常识知识后，QAngaroo-WikiHop 的性能也得到提升，表明其具备更广泛的应用潜力。
• 消融实验表明，随机选择、单跳或非基于事实的常识均无法提升性能，而所提出的选知识与整合方法带来了统计上显著的增益。
• 人工分析显示，50% 的 NarrativeQA 问题需要外部常识，且该方法在其中 34% 的案例中成功识别出相关知识。