[论文解读] Incorporating External Knowledge into Machine Reading for Generative Question Answering

Bin Bi, Chen Wu+4 more|arXiv (Cornell University)|Sep 6, 2019

Topic Modeling参考文献 26被引用 5

一句话总结

本文提出 KEAG，一种神经生成模型，通过动态选择四种来源（问题、段落、词汇表和外部知识）中的内容，并结合源选择器与随机事实选择机制，生成自然语言答案。KEAG 通过有效整合符号化知识，在生成式阅读理解基准测试中显著提升答案质量，优于既有的知识无关与知识感知模型。

ABSTRACT

Commonsense and background knowledge is required for a QA model to answer many nontrivial questions. Different from existing work on knowledge-aware QA, we focus on a more challenging task of leveraging external knowledge to generate answers in natural language for a given question with context. In this paper, we propose a new neural model, Knowledge-Enriched Answer Generator (KEAG), which is able to compose a natural answer by exploiting and aggregating evidence from all four information sources available: question, passage, vocabulary and knowledge. During the process of answer generation, KEAG adaptively determines when to utilize symbolic knowledge and which fact from the knowledge is useful. This allows the model to exploit external knowledge that is not explicitly stated in the given text, but that is relevant for generating an answer. The empirical study on public benchmark of answer generation demonstrates that KEAG improves answer quality over models without knowledge and existing knowledge-aware models, confirming its effectiveness in leveraging knowledge.

研究动机与目标

• 解决现有生成式问答模型仅依赖段落文本、无法整合常识或背景知识的局限性。
• 设计一种神经架构，能够在答案生成过程中选择性地利用知识库中的外部知识，即使事实未在段落中明确陈述。
• 通过学习何时以及使用哪些知识事实，实现流畅且抽象的生成答案。
• 通过追踪每个生成词的来源，提供知识使用证据，提升模型可解释性。

提出的方法

• KEAG 使用带有离散隐变量的源选择器，在每个解码步骤决定从四个来源（问题、段落、词汇表、知识）中选取下一个词的来源。
• 在知识整合方面，KEAG 首先利用问题与上下文的语义相关性，从知识库中检索相关事实。
• 采用带有隐变量的随机事实选择器，从检索到的事实集合中采样最相关的事实，即使在离散选择下仍支持可微训练。
• 模型采用基于可微采样的学习方法，端到端训练整个架构，包括用于事实选择的离散隐变量。
• 生成的答案词从选定来源中获取，其中词汇表用于生成功能词与句子结构，以确保语言流畅性。
• 该架构通过多源注意力机制扩展了序列到序列建模，动态融合来自全部四个来源的信息。

实验结果

研究问题

• RQ1 生成式问答模型能否有效整合外部符号化知识，生成质量高于仅依赖段落文本的模型？
• RQ2 神经模型如何在答案生成过程中动态决定使用外部知识还是文本上下文？
• RQ3 显式知识整合对抽象生成问答中答案的流畅性、正确性与可解释性有何贡献？
• RQ4 能否设计一种可微学习方法，用于在神经生成框架中训练具有离散隐变量的事实选择模块？

主要发现

• KEAG 在 MARCO 基准测试中取得 Rouge-L 得分为 51.68，显著优于知识无关模型与现有知识感知模型。
• 移除补充知识后，Rouge-L 降至 49.98，证明外部知识是提升答案质量的关键因素。
• 移除事实选择的隐变量指标导致 Rouge-L 下降 5%，Bleu-1 下降 6%，证实了可微学习方法的有效性。
• 移除源选择器后性能急剧下降至 Rouge-L 38.33，证明其在平衡源使用中的关键作用。
• 可视化结果表明，KEAG 正确地将关键词如 'personality' 分配给知识源，'disorder' 分配给段落，功能词分配给词汇表，确保语义与句法正确性。
• 模型生成的答案不仅流畅，而且在内容上具有实质性正确性，且外部知识的使用在输出中可明确追溯。