[论文解读] Knowledge-Aided Open-Domain Question Answering

Mantong Zhou, Zhouxing Shi+2 more|arXiv (Cornell University)|Jun 9, 2020

Topic Modeling参考文献 36被引用 9

一句话总结

该论文提出了一种知识增强的开放域问答（KAQA）框架，通过利用外部知识三元组建模问题-文档关系和文档-文档关系，提升了文档检索与答案重排序性能。通过构建关系图（G^Q 和 G^D）并将其整合到检索器与重排序器组件中，该方法在 SQuAD-open 上将 F1 分数提升最高达 2.9%，在 Quasar-T 上提升 0.9%，在多个数据集上均表现出一致的性能增益。

ABSTRACT

Open-domain question answering (QA) aims to find the answer to a question from a large collection of documents.Though many models for single-document machine comprehension have achieved strong performance, there is still much room for improving open-domain QA systems since document retrieval and answer reranking are still unsatisfactory. Golden documents that contain the correct answers may not be correctly scored by the retrieval component, and the correct answers that have been extracted may be wrongly ranked after other candidate answers by the reranking component. One of the reasons is derived from the independent principle in which each candidate document (or answer) is scored independently without considering its relationship to other documents (or answers). In this work, we propose a knowledge-aided open-domain QA (KAQA) method which targets at improving relevant document retrieval and candidate answer reranking by considering the relationship between a question and the documents (termed as question-document graph), and the relationship between candidate documents (termed as document-document graph). The graphs are built using knowledge triples from external knowledge resources. During document retrieval, a candidate document is scored by considering its relationship to the question and other documents. During answer reranking, a candidate answer is reranked using not only its own context but also the clues from other documents. The experimental results show that our proposed method improves document retrieval and answer reranking, and thereby enhances the overall performance of open-domain question answering.

研究动机与目标

• 为解决独立打分在文档检索与答案重排序中的局限性，即因缺乏全局上下文而导致黄金文档与正确答案常被遗漏。
• 通过将外部知识库中的关系知识融入检索与重排序阶段，提升开放域问答性能。
• 同时建模局部证据（问题-文档关联）与全局上下文（文档-文档关系），以提升打分准确性。
• 分别且联合评估问题-文档图与文档-文档图对检索与重排序组件的影响。

提出的方法

• 利用来自 WordNet 等外部资源的知识三元组，构建问题-文档图（G^Q），通过语义关系将问题与候选文档关联。
• 基于共享实体或从知识三元组中提取的语义相似性，将候选文档相互连接，构建文档-文档图（G^D）。
• 将 G^Q 和 G^D 整合到文档检索器中，使候选文档的打分同时依赖于直接的问题-文档证据与来自相关文档的间接证据。
• 通过融合来自 G^Q 和 G^D 的线索，增强答案重排序器，使其不仅能基于局部上下文评估候选答案，还能利用其他文档中的证据。
• 采用图编码技术，将关系知识表示为检索器与重排序器神经组件中的信息，提升其在多文档上进行推理的能力。
• 通过消融研究分离分析 G^Q 与 G^D 在检索器与重排序器中的贡献，验证其有效性。

实验结果

研究问题

• RQ1 建模问题-文档关系（G^Q）在开放域问答中对文档检索性能有何影响？
• RQ2 在多大程度上，引入文档-文档关系（G^D）能提升答案重排序的准确性？
• RQ3 在不同数据集中，G^Q 与 G^D 在检索器与重排序器组件中的相对贡献如何？
• RQ4 来自外部知识库的关系知识能否减少因独立打分导致的性能差距？
• RQ5 整合全局文档关系（G^D）是否能提升对正确答案的识别能力，即使这些答案未出现在 top-k 检索文档中？

主要发现

• 完整 KAQA 模型在 SQuAD-open 上达到 53.4 的 F1 分数，在 Quasar-T 上为 62.2，在 TriviaQA-unfiltered 上为 72.2，优于基线模型。
• 移除 G^Q 后，SQuAD-open 的 F1 下降 2.9%，Quasar-T 下降 0.5%，表明 G^Q 对 SQuAD-open 的影响更强。
• 移除 G^D 后，SQuAD-open 的 F1 下降 1.3%，Quasar-T 下降 0.9%，表明由于文档链接更密集，G^D 在 Quasar-T 上贡献更大。
• 检索器从 G^Q 和 G^D 中获益多于重排序器，消融实验中的性能下降幅度更大。
• 重排序器在移除 G^D 时 F1 下降 1.9%（SQuAD-open），而移除 G^Q 时仅下降 0.4%，表明 G^D 为答案置信度打分提供了更多全局上下文。
• 该方法在所有三个数据集上均一致提升性能，完整模型在 SQuAD-open 上的召回率接近 4.0 F1 分数的上限。