[论文解读] BAG: Bi-directional Attention Entity Graph Convolutional Network for Multi-hop Reasoning Question Answering

Yu Cao, Meng Fang+1 more|arXiv (Cornell University)|Apr 10, 2019

Topic Modeling参考文献 19被引用 46

一句话总结

BAG 从多文档输入构建实体图，应用带多层特征的关系型GCN，并在图和查询之间使用双向注意力，从而在 WIKIHOP 上实现最先进的多跳问答。

ABSTRACT

Multi-hop reasoning question answering requires deep comprehension of relationships between various documents and queries. We propose a Bi-directional Attention Entity Graph Convolutional Network (BAG), leveraging relationships between nodes in an entity graph and attention information between a query and the entity graph, to solve this task. Graph convolutional networks are used to obtain a relation-aware representation of nodes for entity graphs built from documents with multi-level features. Bidirectional attention is then applied on graphs and queries to generate a query-aware nodes representation, which will be used for the final prediction. Experimental evaluation shows BAG achieves state-of-the-art accuracy performance on the QAngaroo WIKIHOP dataset.

研究动机与目标

• 在跨文档的多跳问答中激励推理，因为推理跨越多个文档中的实体。
• 提出一种具有多层特征的实体图表示，用于丰富节点表示的文档。
• 引入实体图与查询之间的双向注意力机制，以推导查询感知的节点表示。

提出的方法

• 从文档中构建一个实体图，其中节点是实体提及，边在文档之间或同一文档内连接同一实体。
• 为节点和查询提取多层特征，包括令牌级（GLoVe）、上下文（ELMo）、NER/POS特征，并聚合节点表示。
• 使用 Relational Graph Convolutional Networks (R-GCN) 在多跳图上传播关系感知表示。
• 在图节点（来自 GCN）与查询之间应用双向注意力层，以产生查询感知的节点表示。
• 使用两层前馈输出层来预测每个节点是答案的概率，对重复的候选节点的概率进行求和。

实验结果

研究问题

• RQ1 基于图的跨文档实体表示能否促进问答中的多跳推理？
• RQ2 在实体图与查询之间整合双向注意力是否能提高推理与答案准确性？
• RQ3 多层特征如何提升基于图的多跳问答模型的性能？

主要发现

• BAG 在 WIKIHOP 数据集上在未遮蔽和遮蔽设置都达到最先进的准确率（未遮蔽测试集的准确率为 69.0%，超过先前最佳的 Entity-GCN）。
• 消融研究显示去除双向注意力或 GCN 会降低性能，证实这些组件对多跳推理的重要性。
• 使用边类型感知（关系GCN）和多层特征（包括 ELMo）显著提高结果；移除 ELMo 会大幅降低性能。
• 双向图-查询注意力在此任务上比单向或从上下文到查询的注意力提供了显著提升。