[论文解读] Message Passing Query Embedding

Daniel Daza, Michael Cochez|arXiv (Cornell University)|Feb 6, 2020

Advanced Graph Neural Networks参考文献 22被引用 5

一句话总结

本文提出消息传递查询嵌入（MPQE），一种基于图神经网络的方法，通过将查询视为包含实体和变量作为节点的小型图，将复杂知识图谱查询统一编码为嵌入表示。MPQE在复杂查询上表现具有竞争力，并能有效泛化——即使仅在链接预测任务上进行训练——同时在无显式监督的情况下学习到结构化的类型嵌入。

ABSTRACT

Recent works on representation learning for Knowledge Graphs have moved beyond the problem of link prediction, to answering queries of an arbitrary structure. Existing methods are based on ad-hoc mechanisms that require training with a diverse set of query structures. We propose a more general architecture that employs a graph neural network to encode a graph representation of the query, where nodes correspond to entities and variables. The generality of our method allows it to encode a more diverse set of query types in comparison to previous work. Our method shows competitive performance against previous models for complex queries, and in contrast with these models, it can answer complex queries when trained for link prediction only. We show that the model learns entity embeddings that capture the notion of entity type without explicit supervision.

研究动机与目标

• 解决现有查询嵌入方法在训练过程中需要多样化查询结构且计算复杂度高的局限性。
• 开发一种通用的查询嵌入框架，通过在查询图上使用统一的消息传递机制，处理任意查询结构。
• 探究仅在链接预测上进行训练是否能实现向复杂查询的泛化，挑战了必须在训练中显式建模复杂查询结构的假设。
• 评估所学习的实体嵌入是否能以无监督方式捕捉语义类型信息，从而提升可解释性和可迁移性。
• 探索MPQE作为知识图谱中无监督表示学习基础的潜力，超越查询回答任务本身。

提出的方法

• 将每个查询表示为一个小图，其中节点为实体或变量，边为关系，形成查询图结构。
• 将初始节点特征设为预训练的实体嵌入，或为变量分配可学习的类型嵌入。
• 应用图神经网络（GNN）在查询图上传递消息，聚合邻近节点的信息。
• 使用聚合函数（如求和、最大值或前馈网络）将所有消息合并为单一的查询嵌入向量。
• 采用链接预测作为主要目标端到端训练模型，从而在无需显式监督查询结构的情况下实现向复杂查询的泛化。
• 利用查询嵌入与实体嵌入之间的余弦相似度对候选答案进行排序。

实验结果

研究问题

• RQ1 仅在单跳链接预测上进行训练的查询嵌入模型，能否有效泛化到包含链式和交集结构的复杂查询？
• RQ2 在查询图上进行消息传递是否相比即兴或子图基方法，能产生更鲁棒且更具泛化能力的查询表示？
• RQ3 该模型能否在无显式类型监督的情况下，无监督地学习到结构化且类型感知的实体嵌入？
• RQ4 在多种查询类型下，MPQE与先前最先进模型（如GQE）相比，在性能和泛化能力上表现如何？
• RQ5 MPQE的架构设计——基于GNN和消息传递——在从简单查询到复杂查询的迁移学习方面，其有效性体现在多大程度上？

主要发现

• MPQE在复杂查询问答任务上表现具有竞争力，在Bio数据集上使用MPQE-CMLP的AUC达到90.1，优于GQE-Bilinear（90.8）和MPQE-TM（88.8）在同一基准上的表现。
• 当仅在链接预测上进行训练时，MPQE能泛化到包含交集和链式结构的复杂查询，在AM数据集（所有查询）上AUC达到83.9，而GQE模型完全失效，表现不优于随机猜测。
• MPQE学习到一个结构化的嵌入空间，其中实体按类型聚类，无需显式监督，通过T-SNE可视化可得，表明实现了无监督的类型表示学习。
• MPQE-CMLP变体在Bio数据集上实现了最高的AUC（90.1）和APR（90.2），证明了可学习聚合机制的有效性。
• MPQE-TM在AIFB（ch）上达到84.9%的AUC，在所有查询上达到75.5%，显示出在不同数据集和查询类型上的稳定性能。
• 定性分析表明，与GQE相比，MPQE生成的实体嵌入更具一致性且具有更强的类型结构，而GQE的嵌入未表现出明显的类型聚类。