[论文解读] Neural-Symbolic Models for Logical Queries on Knowledge Graphs

Zhaocheng Zhu, Mikhail Galkin+2 more|arXiv (Cornell University)|May 16, 2022

Advanced Graph Neural Networks被引用 16

一句话总结

该论文提出 GNN-QE，一种神经符号模型，通过将图神经网络与模糊逻辑相结合，以在不完整知识图谱上回答复杂的一阶逻辑（FOL）查询。通过将查询分解为可解释的模糊集合运算，并利用图神经网络进行关系投影，GNN-QE 在保持可解释性的同时实现了最先进性能，包括中间推理过程的可视化以及无需监督的零样本答案数量预测。

ABSTRACT

Answering complex first-order logic (FOL) queries on knowledge graphs is a fundamental task for multi-hop reasoning. Traditional symbolic methods traverse a complete knowledge graph to extract the answers, which provides good interpretation for each step. Recent neural methods learn geometric embeddings for complex queries. These methods can generalize to incomplete knowledge graphs, but their reasoning process is hard to interpret. In this paper, we propose Graph Neural Network Query Executor (GNN-QE), a neural-symbolic model that enjoys the advantages of both worlds. GNN-QE decomposes a complex FOL query into relation projections and logical operations over fuzzy sets, which provides interpretability for intermediate variables. To reason about the missing links, GNN-QE adapts a graph neural network from knowledge graph completion to execute the relation projections, and models the logical operations with product fuzzy logic. Experiments on 3 datasets show that GNN-QE significantly improves over previous state-of-the-art models in answering FOL queries. Meanwhile, GNN-QE can predict the number of answers without explicit supervision, and provide visualizations for intermediate variables.

研究动机与目标

• 为解决在不完整知识图谱上回答复杂 FOL 查询的挑战，其中符号方法因缺失链接而失效，而神经方法缺乏可解释性。
• 开发一种模型，在保留符号推理可解释性的同时，利用神经网络在不完整图上的泛化能力。
• 实现在无显式监督下对答案数量的预测，并提供中间推理步骤的可视化。
• 在保持可微、可解释推理的前提下，实现在标准 FOL 查询基准上的最先进性能。

提出的方法

• 将复杂 FOL 查询分解为一系列关系投影与模糊集合上的逻辑运算，以实现中间变量的可解释性。
• 使用源自知识图谱补全的图神经网络（GNN）执行关系投影，将头实体的模糊集合映射为尾实体的模糊集合。
• 采用乘积模糊逻辑建模逻辑运算（合取、析取、否定），以保持逻辑定律并支持基于梯度的优化。
• 引入遍历 dropout 以正则化 GNN，并采用批量表达式执行以加速训练与推理。
• 采用可微的符号框架，支持通过逻辑运算与实体集合操作的反向传播。
• 支持端到端训练，以最终答案的监督为目标，同时支持中间变量的可视化与答案数量预测。

实验结果

研究问题

• RQ1 神经符号模型能否结合神经网络的泛化能力与符号推理的可解释性，以应对不完整知识图谱上的 FOL 查询？
• RQ2 该模型能否在无显式监督下，借助其符号化形式，预测查询的答案数量？
• RQ3 该模型在复杂 FOL 查询上的性能与最先进方法相比如何，特别是在处理否定和存在量词方面？
• RQ4 该模型的中间模糊集合在多跳推理中可解释性的程度如何，能否通过可视化提升理解？
• RQ5 将基于 GNN 的关系投影与模糊逻辑运算相结合，是否能带来优于纯神经或纯符号方法的泛化性能？

主要发现

• 与先前最先进模型相比，GNN-QE 在存在量词正向一阶逻辑（EPFO）查询上平均相对提升 22.3%，在否定查询上提升达 95.1%。
• 该模型能从知识图谱补全泛化至复杂查询问答，在不完整图上表现出更高的准确率与鲁棒性。
• 得益于模糊集合基数的符号化建模，GNN-QE 可在无任何显式监督下预测查询的答案数量。
• 该模型能提供有意义的中间模糊集合可视化，使用户能够逐步检查与理解推理路径。
• 通过消融实验，作者表明 GNN 基投影与模糊逻辑运算的结合是模型性能与可解释性的关键。
• 使用遍历 dropout 能够提升泛化能力并减少过拟合，尤其在低数据场景下表现显著。