[论文解读] Can Graph Neural Networks Help Logic Reasoning?

Yuyu Zhang, Xinshi Chen+5 more|arXiv (Cornell University)|Jun 5, 2019

Bayesian Modeling and Causal Inference参考文献 27被引用 10

一句话总结

该论文提出ExpressGNN，一种混合模型，结合归纳式图神经网络（GNNs）与可调的归纳嵌入，以实现在马尔可夫逻辑网络（MLNs）中可扩展且高效的概率逻辑推理。通过解决逻辑公式引入的不对称性，ExpressGNN在知识库补全任务中达到最先进性能，在低数据环境下显著优于监督方法，并在未见关系上展现出强大的归纳泛化能力。

ABSTRACT

Effectively combining logic reasoning and probabilistic inference has been a long-standing goal of machine learning: the former has the ability to generalize with small training data, while the latter provides a principled framework for dealing with noisy data. However, existing methods for combining the best of both worlds are typically computationally intensive. In this paper, we focus on Markov Logic Networks and explore the use of graph neural networks (GNNs) for representing probabilistic logic inference. It is revealed from our analysis that the representation power of GNN alone is not enough for such a task. We instead propose a more expressive variant, called ExpressGNN, which can perform effective probabilistic logic inference while being able to scale to a large number of entities. We demonstrate by several benchmark datasets that ExpressGNN has the potential to advance probabilistic logic reasoning to the next stage.

研究动机与目标

• 为解决大规模马尔可夫逻辑网络（MLNs）中概率推理的计算不可行性，其复杂度随实体数量呈组合爆炸式增长。
• 探究图神经网络（GNNs）是否能有效表示知识库以支持概率逻辑推理，尽管其表达能力存在固有局限。
• 克服在使用标准GNNs进行MLN推理时，由不对称逻辑公式导致的参数化不一致问题。
• 开发一种可扩展的混合架构，结合归纳式GNN与可调嵌入，以平衡模型表达能力与参数效率。
• 证明所提方法可在归纳和归纳设定下实现有效且高效的推理，尤其在数据稀缺条件下表现优异。

提出的方法

• ExpressGNN使用归纳式GNN组件，从知识库中学习节点表示，该知识库被建模为实体与观测事实之间的二分图。
• 引入一个独立的、归纳式的、可调的嵌入组件，以纠正MLNs中由逻辑公式引入的不对称性，而标准GNN无法捕捉此类特性。
• 模型采用平均场近似进行推理，利用GNN和可调嵌入定义MLN中潜在变量的变分分布。
• 通过加权势函数整合逻辑公式，公式权重通过端到端训练学习，使用观测事实上的判别性损失进行优化。
• 该架构设计为参数高效，与纯归纳方法相比，归纳式GNN减少了参数数量。
• 该方法支持归纳学习与归纳学习，能够泛化到训练过程中未见的新实体和关系。

实验结果

研究问题

• RQ1 在一阶逻辑公式引入不对称性的情况下，标准图神经网络能否有效支持马尔可夫逻辑网络中的概率逻辑推理？
• RQ2 为何标准GNN在MLN推理中无法提供一致的参数化？其背后的根本结构限制是什么？
• RQ3 结合归纳式GNN与可调嵌入的混合架构，是否能在MLN推理中实现优于纯归纳方法或仅GNN方法的表达能力与可扩展性？
• RQ4 在低数据环境下，该方法表现如何？能否有效泛化到训练数据中未出现的新实体和关系？
• RQ5 ExpressGNN在保持高精度与高效性的同时，能在多大程度上扩展至大规模知识库？

主要发现

• 在UW-CSE和Kinship数据集上，ExpressGNN的推理时间仅为14–20ms，显著优于提升的BP（321–525ms）和MC-SAT（172–196ms），展现出卓越的可扩展性。
• 在FB15K-237数据集上，使用100%训练数据时，ExpressGNN的MRR达到0.45，Hits@10为57.3%，优于TransE（MRR: 0.28，Hits@10: 44.5%）和NTN（MRR: 0.13，Hits@10: 23.9%）。
• 仅使用5%训练数据时，ExpressGNN的MRR为0.42，Hits@10为53.1%，在相同低数据环境下显著优于Neural LP（MRR: 0.13，Hits@10: 23.2%）。
• 在完全新的关系的归纳设定下，ExpressGNN的MRR为0.18，Hits@10为29.3%，而TransE和NTN的性能降至接近零（MRR < 0.01）。
• ExpressGNN在知识库补全任务中达到最先进性能，展现出强大的数据效率与归纳泛化能力。
• 该模型以远少于纯归纳方法的参数量实现高性能，凸显其参数效率与可扩展性。