[论文解读] Efficient Probabilistic Logic Reasoning with Graph Neural Networks

Yuyu Zhang, Xinshi Chen+5 more|arXiv (Cornell University)|Jan 29, 2020

Advanced Graph Neural Networks参考文献 34被引用 36

一句话总结

ExpressGNN 将 Markov Logic Networks 与图神经网络结合起来，进行可扩展的变分推断，在大型知识图上实现高效且有效的概率逻辑推理。

ABSTRACT

Markov Logic Networks (MLNs), which elegantly combine logic rules and probabilistic graphical models, can be used to address many knowledge graph problems. However, inference in MLN is computationally intensive, making the industrial-scale application of MLN very difficult. In recent years, graph neural networks (GNNs) have emerged as efficient and effective tools for large-scale graph problems. Nevertheless, GNNs do not explicitly incorporate prior logic rules into the models, and may require many labeled examples for a target task. In this paper, we explore the combination of MLNs and GNNs, and use graph neural networks for variational inference in MLN. We propose a GNN variant, named ExpressGNN, which strikes a nice balance between the representation power and the simplicity of the model. Our extensive experiments on several benchmark datasets demonstrate that ExpressGNN leads to effective and efficient probabilistic logic reasoning.

研究动机与目标

• 动机：将基于逻辑的先验知识与数据驱动的图表示相结合，以实现对知识图的可扩展概率推理。
• 开发一个高效的变分 EM 框架，其中 ExpressGNN 充当 MLNs 的推理网络。
• 在利用逻辑规则的同时，处理数据稀缺、长尾关系和零-shot 场景。
• 提供紧凑且具表达力的模型，能够扩展到工业规模的知识图并支持对新实体的泛化。

提出的方法

• 提出 ExpressGNN，一种两级嵌入方案，将知识图上的常规 GNN 与可调实体嵌入结合。
• 将 ExpressGNN 用作变分后验 Q_theta(H|O) 在 MLNs 的变分 EM 框架中的均场近似。
• 在 E 步，通过对 Ground 公式进行采样并利用局部期望来进行可处理的近似推断；可选地通过标签损失添加监督信号来引导推断网络。
• 在 M 步，使用伪对数似然和从马尔可兰毯计算的梯度来优化 MLN 公式权重，采用紧凑、部分采样的梯度策略。
• 推断网络将 Q_theta(r(c1,c2)) 计算为对增强嵌入的逻辑回归多层感知机，从而实现端到端可微学习。
• 提供在此设置下 GNN 表达能力的理论理由，并证明需要可调嵌入以区分非同构实体。

实验结果

研究问题

• RQ1 基于图神经网络的推断网络是否能够在利用先验逻辑规则的同时高效地近似潜在 MLN 变量的后验？
• RQ2 逻辑规则先验与数据驱动的图表示的结合是否能提升对大型稀疏知识图的概率推理？
• RQ3 提出的 ExpressGNN 框架能否扩展到工业规模的知识库，并支持对未见谓词的零-shot 或少样本推理？
• RQ4 使用 GNN 加可调嵌入进行 MLN 推理时，模型紧凑性与表达力之间的权衡是什么？

主要发现

• ExpressGNN 通过在知识图上运行，而不是在密集的 MLN ground 图上，从而实现对 MLNs 的可扩展推断。
• 将 GNN 嵌入与可调实体嵌入结合，产生紧凑而具表达性的后验，在准确性和可扩展性方面优于基线。
• ExpressGNN-E（仅 E 步）在基准数据集上的推断精度与强力的 MLN 基线相比具有竞争力甚至更高，并且随着数据集规模的增大保持有利的推理时间。
• 可调嵌入加 GNN 配置在参数效率与表示能力之间提供了有利的折衷，使在参数数量少于完整的大型嵌入表的情况下也能获得良好性能。