[论文解读] Dynamic Semantic Graph Construction and Reasoning for Explainable Multi-hop Science Question Answering

Weiwen Xu, Huihui Zhang+2 more|arXiv (Cornell University)|May 25, 2021

Topic Modeling参考文献 68被引用 5

一句话总结

该论文提出了一种基于抽象意义表示（AMR）的动态语义图框架，以实现可解释的多跳科学问题问答。通过从问题、答案选项和检索到的事实构建基于AMR的语义图（AMR-SG），并应用基于路径的分析与图卷积网络（GCN），该方法提升了事实检索与推理能力，在ARC-Challenge上达到68.94%的准确率（SOTA水平），在OpenBookQA上取得81.6%的优异表现，同时保持了高水平的可解释性，且无需依赖外部知识图谱。

ABSTRACT

Knowledge retrieval and reasoning are two key stages in multi-hop question answering (QA) at web scale. Existing approaches suffer from low confidence when retrieving evidence facts to fill the knowledge gap and lack transparent reasoning process. In this paper, we propose a new framework to exploit more valid facts while obtaining explainability for multi-hop QA by dynamically constructing a semantic graph and reasoning over it. We employ Abstract Meaning Representation (AMR) as semantic graph representation. Our framework contains three new ideas: (a) { t AMR-SG}, an AMR-based Semantic Graph, constructed by candidate fact AMRs to uncover any hop relations among question, answer and multiple facts. (b) A novel path-based fact analytics approach exploiting { t AMR-SG} to extract active facts from a large fact pool to answer questions. (c) A fact-level relation modeling leveraging graph convolution network (GCN) to guide the reasoning process. Results on two scientific multi-hop QA datasets show that we can surpass recent approaches including those using additional knowledge graphs while maintaining high explainability on OpenBookQA and achieve a new state-of-the-art result on ARC-Challenge in a computationally practicable setting.

研究动机与目标

• 解决多跳问答中证据检索置信度低与推理过程不透明的挑战。
• 通过利用文本知识中的结构化语义表示，提升多跳问答的可解释性。
• 利用AMR从问题、答案和事实中动态构建语义图，揭示内在关系。
• 开发基于路径的事实分析方法，识别构成推理链的活跃事实。
• 通过图卷积网络（GCN）实现事实级别的推理，以提升预测置信度与准确率。

提出的方法

• 通过合并假设（由问题与答案选项推导）和来自大规模语料库的相关事实的AMR，构建基于AMR的语义图（AMR-SG）。
• 采用抽象意义表示（AMR）将语义意义表示为以概念为节点、关系为边的有根有向图。
• 在AMR-SG上应用基于路径的分析，识别从问题到答案的连通路径，仅将这些路径上的事实选为活跃证据。
• 利用图卷积网络（GCN）在AMR-SG上传播事实级信息，以增强对活跃事实的推理能力。
• 将AMR-SG视为动态的、与问题相关的图结构，可捕捉任意跳数的关系，且不依赖预存在的知识图谱。
• 使用微调并自动解析的AMR，消融实验表明，一致的自动解析优于混合质量的人工标注。

实验结果

研究问题

• RQ1 动态构建的基于AMR的语义图能否提升多跳问答中的证据检索与推理能力？
• RQ2 在AMR-SG上基于路径的分析如何帮助识别推理链中最相关的事实？
• RQ3 通过GCN实现的事实级别推理在多大程度上提升了多跳问答中的预测置信度与准确率？
• RQ4 使用AMR作为文本与图结构之间的语义桥梁，是否能在保持可解释性的同时，优于依赖外部知识图谱的方法？
• RQ5 AMR解析的一致性在多大程度上影响问答系统的性能？

主要发现

• 所提方法在OpenBookQA上达到81.6%的准确率，超越了使用外部知识图谱的先前方法。
• 在ARC-Challenge数据集上，模型在计算可行的设置下实现了68.94%准确率的新SOTA结果。
• 基于路径的事实分析方法成功检索到低分但构成完整推理链的事实，案例研究显示信息检索（IR）失败而本模型成功。
• 通过GCN实现的事实级别推理提升了预测置信度，性能在K=2跳时达到峰值，表明大多数问题可通过两个证据事实解答。
• 出人意料的是，完全自动的AMR解析优于混合质量（人工+自动）和无错误适配的AMR解析，可能归因于自动解析中概念选择的一致性。
• 消融研究证实，AMR的一致性显著影响性能，尽管存在已知错误，完全自动AMR仍取得最高准确率。