[论文解读] Modeling Semantics with Gated Graph Neural Networks for Knowledge Base Question Answering

Daniil Sorokin, Iryna Gurevych|TUbilio (Technical University of Darmstadt)|Aug 13, 2018

Topic Modeling参考文献 28被引用 57

一句话总结

本文提出了门控图神经网络（GGNNs）来编码语义解析的结构，以用于知识库问答，并在基于 Wikidata 数据集的基线模型上显示出更好的性能。GGNNs 明确对语义解析中的图结构进行建模，以更好地处理复杂问题。

ABSTRACT

The most approaches to Knowledge Base Question Answering are based on semantic parsing. In this paper, we address the problem of learning vector representations for complex semantic parses that consist of multiple entities and relations. Previous work largely focused on selecting the correct semantic relations for a question and disregarded the structure of the semantic parse: the connections between entities and the directions of the relations. We propose to use Gated Graph Neural Networks to encode the graph structure of the semantic parse. We show on two data sets that the graph networks outperform all baseline models that do not explicitly model the structure. The error analysis confirms that our approach can successfully process complex semantic parses.

研究动机与目标

• 推动在需要多跳关系和约束的复杂问题上的改进知识库问答。
• 提出一种语义解析表示，将其表示为包含来自 Wikidata 的实体和关系类型的图。
• 引入基于 GGNN 的编码，以学习语义图的向量表示。
• 将图结构模型与基线进行比较，并分析图结构对性能的影响。

提出的方法

• 使用带有动作的分阶段图生成过程（添加实体、添加约束、添加 argmax/argmin）从问题构建语义图。
• 使用深度卷积神经网络对问题进行表示，以获得 v_q。
• 使用带标签的节点（实体）和有向、带标签的边（关系）来对语义图进行编码，使用门控图神经网络。
• 用实体标签初始化节点嵌入，并为关系类型使用方向嵴嵌入。
• 在 T=5 步后，从 q-节点计算图级输出向量，并通过与问题表示的余弦相似度来对图进行评分。
• 利用来自 Wikidata-based QA 的弱监督，以正例/负例图候选的最大间隔损失进行训练。

实验结果

研究问题

• RQ1 通过 GGNNs 对语义-图结构进行显式建模，是否能够提升复杂问题的知识库问答性能？
• RQ2 GGNN 相对于其他使用有限或无图结构的语义解析基线有何表现？
• RQ3 图结构编码对同域和跨域问答性能的影响是什么？
• RQ4 GGNN 方法对实体链接错误和知识库数据不一致性的鲁棒性如何？

主要发现

Model	P	R	F
STAGG	0.19105924	0.22672522	0.18276838
Single Edge	0.22397556	0.27129068	0.21476376
Pooled Edges	0.20943364	0.25532975	0.20321495
GNN	0.24185018	0.28901665	0.23259515
GGNN	0.26857575	0.31791255	0.25877491

• 在测试模型中，GGNN在 WebQSP-WD 上获得了最佳 F 分数（0.2588），在 QALD-7 数据集上也表现最佳（0.2131）。
• GGN 与 GGNN 一致地超越忽略图结构或对边进行池化的基线，证明了对语义解析结构建模的价值。
• GGNN 在准确度上更高，尤其是在需要多关系的复杂问题上，优于非图或更简单的图表示。
• 误差分析表明 GGNN 能减少一些错误图，但仍受 KB-问答路径缺口和数据不一致性的影响，hit@10 达到 44.05%。
• 在 WebQSP-WD 上，GGNN 模型在 F-score 相对于最佳非图模型提升了 27.4%。