[论文解读] Inductive Logical Query Answering in Knowledge Graphs

Mikhail Galkin, Zhaocheng Zhu+2 more|arXiv (Cornell University)|Oct 13, 2022

Advanced Graph Neural Networks被引用 4

一句话总结

该论文提出了两种归纳式查询问答方法——NodePiece-QE 和 GNN-QE，用于知识图谱，可在无需微调的情况下泛化到未见过的实体。通过利用图神经网络学习归纳式节点与关系结构表征，模型在未见实体上实现了强大的零样本泛化能力，能够回答比训练图大至500%的知识图谱中的复杂逻辑查询，其中 GNN-QE 表现更高准确率，而 NodePiece-QE 实现了在百万节点图谱上的可扩展推理。

ABSTRACT

Formulating and answering logical queries is a standard communication interface for knowledge graphs (KGs). Alleviating the notorious incompleteness of real-world KGs, neural methods achieved impressive results in link prediction and complex query answering tasks by learning representations of entities, relations, and queries. Still, most existing query answering methods rely on transductive entity embeddings and cannot generalize to KGs containing new entities without retraining the entity embeddings. In this work, we study the inductive query answering task where inference is performed on a graph containing new entities with queries over both seen and unseen entities. To this end, we devise two mechanisms leveraging inductive node and relational structure representations powered by graph neural networks (GNNs). Experimentally, we show that inductive models are able to perform logical reasoning at inference time over unseen nodes generalizing to graphs up to 500% larger than training ones. Exploring the efficiency--effectiveness trade-off, we find the inductive relational structure representation method generally achieves higher performance, while the inductive node representation method is able to answer complex queries in the inference-only regime without any training on queries and scales to graphs of millions of nodes. Code is available at https://github.com/DeepGraphLearning/InductiveQE.

研究动机与目标

• 解决传统归纳式查询嵌入模型无法泛化到更新或新知识图谱中未见实体的局限性。
• 开发归纳式方法，学习实体与关系的表征，且在新增节点时无需重新训练。
• 在远大于训练图的知识图谱中，实现对复杂查询（如合取、否定、存在量词）的逻辑推理。
• 评估归纳式节点表征与关系结构表征方法在查询问答中的效率-效果权衡。

提出的方法

• NodePiece-QE 通过将实体表示为固定大小词典的函数，将 NodePiece 模型扩展至归纳式查询问答，实现无需实体嵌入的推理。
• 其采用非参数化逻辑查询执行器，在潜在空间中执行交集、并集和否定等操作，支持仅推理模式。
• GNN-QE 使用图神经网络直接在图结构上操作，无需实体嵌入，学习归纳式的关系结构表征，捕捉基于路径的关系。
• 该模型采用 PNA 聚合与 DistMult 组合机制编码关系模式，端到端训练于复杂查询之上。
• 两种方法均使用可微分 t-范数（如乘积 + Sigmoid）在查询执行过程中组合得分，损失通过二元交叉熵与负采样进行优化。
• 该方法在包含 CQD-Beam 和 WikiKG-QE 在内的 10 个新数据集上进行评估，涵盖可扩展性与泛化能力的消融实验。

实验结果

研究问题

• RQ1 归纳式查询嵌入模型能否泛化到比训练图大至500%的知识图谱？
• RQ2 在性能与可扩展性方面，归纳式节点表征与归纳式关系结构表征相比如何？
• RQ3 模型能否在无需任何微调或重新训练的情况下，对完全未见过的实体回答复杂逻辑查询？
• RQ4 当知识图谱中新增节点与边时，归纳式模型在多大程度上能发现新的正确答案？
• RQ5 在归纳设置下，NodePiece-QE（可扩展）与 GNN-QE（更高准确率）之间的效率-效果权衡如何体现？

主要发现

• NodePiece-QE 与 GNN-QE 均在未见实体上对复杂逻辑查询展现出非平凡的性能，证实了归纳式查询问答的可行性。
• 模型可泛化至比训练图大至500%的知识图谱，展现出强大的分布外泛化能力。
• 当在图中新增节点（如费曼、普林斯顿）时，归纳式模型能成功识别出先前查询的新正确答案，模拟可更新数据库的行为。
• NodePiece-QE 可扩展至包含 200 万节点与 50 万未见节点的图谱，实现无需任何查询特定训练的仅推理查询问答。
• GNN-QE 由于在复杂查询上端到端训练，性能优于 NodePiece-QE，但其在极大规模图谱上面临可扩展性挑战。
• Edge-type Heuristic 基线方法虽简单，但表现强劲，通过基于关系类型的实体过滤提供强基线，凸显结构归纳偏差的重要性。