[论文解读] Knowledge Based Machine Reading Comprehension

Yibo Sun, Daya Guo+5 more|arXiv (Cornell University)|Sep 12, 2018

Topic Modeling参考文献 23被引用 3

一句话总结

本文提出知识增强型机器阅读理解（KBMRC），一项新任务，要求对文档生成的知识三元组（主语-谓词-宾语）和外部知识库中的三元组进行推理。作者构建了一个包含40,047个问答对的数据集，并提出一种框架，整合问答与问题生成模型，利用Freebase和NELL等外部知识库，表明引入外部知识库可提升基线模型（如BiDAF）的准确率。

ABSTRACT

Machine reading comprehension (MRC) requires reasoning about both the knowledge involved in a document and knowledge about the world. However, existing datasets are typically dominated by questions that can be well solved by context matching, which fail to test this capability. To encourage the progress on knowledge-based reasoning in MRC, we present knowledge-based MRC in this paper, and build a new dataset consisting of 40,047 question-answer pairs. The annotation of this dataset is designed so that successfully answering the questions requires understanding and the knowledge involved in a document. We implement a framework consisting of both a question answering model and a question generation model, both of which take the knowledge extracted from the document as well as relevant facts from an external knowledge base such as Freebase/ProBase/Reverb/NELL. Results show that incorporating side information from external KB improves the accuracy of the baseline question answer system. We compare it with a standard MRC model BiDAF, and also provide the difficulty of the dataset and lay out remaining challenges.

研究动机与目标

• 解决现有机器阅读理解数据集过度依赖表面化上下文匹配而非深层知识推理的局限性。
• 开发一种新的机器阅读理解任务——知识增强型阅读理解（KBMRC），要求对文档和外部知识库中的结构化知识进行推理。
• 构建一个大规模、人工标注的40,047个样本数据集，其中答案需要理解文档和外部知识库中的三元组。
• 设计并评估一种双模型框架，结合问答与问题生成模型，以提升推理能力与可解释性。

提出的方法

• KBMRC任务通过问题、文档生成的知识库（kb^d）和可选的外部知识库（kb^e）定义，两者均以三元组格式（主语，谓词，宾语）表示。
• 基于WebAssertions构建了一个包含40,047个样本的新数据集，并对kb^d三元组中的正确答案进行人工标注。
• 问答模型通过向量空间中问题与答案表示之间的语义相关性来评分候选答案。
• 问题生成模型通过测量问题与基于候选答案生成的问题之间的语义相似性来评分候选答案。
• 通过ElasticSearch检索，将Freebase、ProBase、NELL和ReVerb等外部知识库集成，以增强推理能力。
• 框架通过集成多个模型（如PCNet、KVMemNet、QGNet）的结果，利用集成评分提升性能。

实验结果

研究问题

• RQ1 能否通过引入文档上下文之外的外部知识库来提升机器阅读理解系统的性能？
• RQ2 使用结构化知识三元组（主语-谓词-宾语）在多大程度上能增强机器阅读理解中的推理能力与可解释性？
• RQ3 结合问答与问题生成的双模型框架在基于知识库的MRC中效果如何？
• RQ4 当前基于知识库的MRC模型的关键失败模式与局限性是什么，特别是针对代词指代与长实体匹配问题？
• RQ5 集成多个外部知识库（如NELL、ReVerb、Freebase）对KBMRC的性能与鲁棒性有何影响？

主要发现

• 将NELL和ReVerb等外部知识库引入后，匹配型与问题生成型模型的性能均得到提升，与PCNet和KVMemNet集成后，准确率分别提升最高达1.5%和0.8%。
• QGNet模型的BLEU得分为16.3，P@1为41.5，优于Seq2Seq模型（BLEU 11.2，P@1 41.3），表明其在低频词复制方面表现更优。
• 将QGNet与KVMemNet结合后，P@1准确率达到64.3%，表明生成式与判别式模型可有效互补。
• 错误分析显示，代词消解与命名实体识别对提升问题-关键词匹配至关重要，尤其当主语为代词或长实体时。
• 通过ElasticSearch检索外部知识库常因部分实体匹配与歧义（如'Lousiana'作为州名与公司名）导致问题，表明需改进消歧机制。