[论文解读] Message Passing for Query Answering over Knowledge Graphs

Daniel Daza, Michael Cochez|arXiv (Cornell University)|Feb 6, 2020

Advanced Graph Neural Networks被引用 9

一句话总结

该论文提出了一种消息传递图神经网络，将查询编码为包含实体和变量的图结构，从而在多种查询类型之间实现泛化。即使仅通过链接预测进行训练，该模型在复杂查询上仍能取得具有竞争力的性能，并在无显式监督的情况下学习实体类型表示。

ABSTRACT

Recent works on representation learning for Knowledge Graphs have moved beyond the problem of link prediction, to answering queries of an arbitrary structure. Existing methods are based on ad-hoc mechanisms that require training with a diverse set of query structures. We propose a more general architecture that employs a graph neural network to encode a graph representation of the query, where nodes correspond to entities and variables. The generality of our method allows it to encode a more diverse set of query types in comparison to previous work. Our method shows competitive performance against previous models for complex queries, and in contrast with these models, it can answer complex queries when trained for link prediction only. We show that the model learns entity embeddings that capture the notion of entity type without explicit supervision.

研究动机与目标

• 解决现有查询问答模型需为每种查询结构进行特定任务微调的局限性。
• 开发一种统一架构，通过单一训练目标在多种查询类型间实现泛化。
• 仅通过链接预测监督实现复杂查询问答，无需查询特定的微调。
• 通过消息传递隐式学习实体类型表示，无需显式类型注释。

提出的方法

• 该模型构建一个查询图，其中节点表示实体和变量，边表示关系或约束。
• 应用具有消息传递机制的图神经网络（GNN），在查询图上传播信息。
• 使用可学习的神经网络聚合和更新消息，以迭代方式优化节点表示。
• 最终的节点表示用于通过将候选实体与查询结构进行打分来预测答案实体。
• 模型通过链接预测损失端到端训练，该损失隐式引导查询推理。
• 该架构通过GNN传播动态编码其拓扑结构，支持任意查询结构。

实验结果

研究问题

• RQ1 单一基于GNN的模型是否能在不为每种结构重新训练的情况下，泛化到多种查询类型？
• RQ2 仅通过链接预测进行训练，是否能实现对复杂查询的有效推理？
• RQ3 通过消息传递学习到的实体嵌入是否能捕捉实体类型的语义信息，而无需显式监督？
• RQ4 与专门的查询问答模型相比，该模型在复杂查询上的性能表现如何？

主要发现

• 与先前的最先进模型相比，该模型在复杂查询上取得了具有竞争力的性能。
• 无需微调即可泛化到未见过的查询类型，表明GNN架构具有强大的归纳偏置。
• 通过消息传递隐式学习到的实体类型表示，体现在嵌入空间中的语义聚类上。
• 即使训练仅限于链接预测，性能仍能保持稳定，表明模型具备鲁棒性和泛化能力。