[论文解读] Multi-hop Reading Comprehension across Multiple Documents by Reasoning over Heterogeneous Graphs

Ming Tu, Guangtao Wang+4 more|arXiv (Cornell University)|May 17, 2019

Topic Modeling参考文献 35被引用 28

一句话总结

本文提出了一种基于异质图的模型——异质文档-实体（Heterogeneous Document-Entity, HDE）图，用于跨多篇文档的多跳阅读理解。通过将共注意机制和自注意机制生成的查询感知表示整合到候选、文档和实体的节点中，并利用图神经网络进行消息传递，该模型在WikiHop基准测试中取得了当前最优性能，集成模型在盲测集上的表现比人类高出0.2%。

ABSTRACT

Multi-hop reading comprehension (RC) across documents poses new challenge over single-document RC because it requires reasoning over multiple documents to reach the final answer. In this paper, we propose a new model to tackle the multi-hop RC problem. We introduce a heterogeneous graph with different types of nodes and edges, which is named as Heterogeneous Document-Entity (HDE) graph. The advantage of HDE graph is that it contains different granularity levels of information including candidates, documents and entities in specific document contexts. Our proposed model can do reasoning over the HDE graph with nodes representation initialized with co-attention and self-attention based context encoders. We employ Graph Neural Networks (GNN) based message passing algorithms to accumulate evidences on the proposed HDE graph. Evaluated on the blind test set of the Qangaroo WikiHop data set, our HDE graph based single model delivers competitive result, and the ensemble model achieves the state-of-the-art performance.

研究动机与目标

• 解决跨多篇文档的多跳阅读理解挑战，即单篇文档不足以回答查询的问题。
• 克服现有模型依赖单一类型节点或缺乏对多样化信息粒度进行结构化推理的局限性。
• 构建一个统一框架，将候选、文档和实体整合为一个异质图，以提升推理能力。
• 通过共注意机制和自注意机制实现查询感知的节点表示，支持端到端训练。
• 在不使用预训练ELMo嵌入的情况下，实现在WikiHop基准上的最先进性能。

提出的方法

• 构建具有不同节点类型的异质文档-实体（HDE）图：候选、文档和实体，通过异质边连接。
• 使用共注意机制和自注意机制初始化节点表示，生成查询感知的上下文嵌入。
• 应用图神经网络（GNN）进行消息传递，聚合HDE图中的证据，实现多跳推理。
• 采用分数聚合机制，结合所有节点类型的证据，不同类型的边保留结构信息。
• 使用分类头在候选节点上进行端到端训练，以预测正确答案。
• 通过消融研究评估不同节点类型和边类型对模型性能的贡献。

实验结果

研究问题

• RQ1 能否通过整合多种粒度（候选、文档、实体）的异质图来提升文档级问答中的多跳推理能力？
• RQ2 共注意机制和自注意机制在多文档上下文中如何增强节点表示学习？
• RQ3 不同节点类型（候选、文档、实体）对最终推理性能的相对贡献如何？
• RQ4 HDE图结构与同质图相比，在建模文档间复杂证据链方面表现如何？
• RQ5 该模型在支持文档数量和候选数量变化时，泛化能力如何？

主要发现

• HDE图模型在WikiHop盲测集上实现了最先进性能，集成模型在官方排行榜上位列第一。
• 截至2019年5月30日，集成模型在WikiHop基准上的表现比人类高出0.2%。
• 单模型版本在相同基准上优于Zhong等人（2019）发表的先前SOTA模型。
• 消融研究显示，移除实体节点导致性能下降最大（准确率降低1.0%），凸显其在推理中的关键作用。
• 实体节点的得分对分类的贡献大于候选节点，后者在被移除时导致1.5%的性能下降。
• 随着支持文档和候选数量的增加，性能下降，表明在更大图上进行推理的复杂度更高。