[论文解读] Logical Message Passing Networks with One-hop Inference on Atomic Formulas

Zihao Wang, Yangqiu Song+2 more|arXiv (Cornell University)|Jan 21, 2023

Advanced Graph Neural Networks被引用 4

一句话总结

该论文提出了一种逻辑消息传递神经网络（LMPNN），这是一种新颖的框架，用于在不完整的知识图谱上进行复杂查询回答，通过将预训练的知识图谱嵌入与神经集合运算符解耦。LMPNN将查询表示为查询图，利用现有的知识图谱嵌入对原子公式执行单跳推理，并通过消息传递机制将这些结果聚合为‘逻辑消息’，以实现全局逻辑推理，仅使用极少的可训练参数即达到最先进性能。

ABSTRACT

Complex Query Answering (CQA) over Knowledge Graphs (KGs) has attracted a lot of attention to potentially support many applications. Given that KGs are usually incomplete, neural models are proposed to answer the logical queries by parameterizing set operators with complex neural networks. However, such methods usually train neural set operators with a large number of entity and relation embeddings from the zero, where whether and how the embeddings or the neural set operators contribute to the performance remains not clear. In this paper, we propose a simple framework for complex query answering that decomposes the KG embeddings from neural set operators. We propose to represent the complex queries into the query graph. On top of the query graph, we propose the Logical Message Passing Neural Network (LMPNN) that connects the local one-hop inferences on atomic formulas to the global logical reasoning for complex query answering. We leverage existing effective KG embeddings to conduct one-hop inferences on atomic formulas, the results of which are regarded as the messages passed in LMPNN. The reasoning process over the overall logical formulas is turned into the forward pass of LMPNN that incrementally aggregates local information to finally predict the answers' embeddings. The complex logical inference across different types of queries will then be learned from training examples based on the LMPNN architecture. Theoretically, our query-graph represenation is more general than the prevailing operator-tree formulation, so our approach applies to a broader range of complex KG queries. Empirically, our approach yields the new state-of-the-art neural CQA model. Our research bridges the gap between complex KG query answering tasks and the long-standing achievements of knowledge graph representation learning.

研究动机与目标

• 为解决现有神经模型在不完整知识图谱（KGs）上进行复杂查询回答（CQA）时难以充分利用预训练知识图谱嵌入优势的挑战。
• 将知识图谱嵌入与神经集合运算符解耦，明确其在CQA性能中的各自贡献。
• 开发一种可扩展且高效的框架，将符号化逻辑推理与神经消息传递结合，利用预训练表征。
• 实现端到端训练的神经模型，通过聚合原子公式的局部单跳推理，实现全局逻辑推理。
• 证明基于单跳推理的简单、模块化架构可在CQA任务中超越复杂的神经集合运算符。

提出的方法

• 该论文将复杂EFO-1查询表示为析取范式（DNF），并将其建模为查询图，其中每条边对应一个带有谓词和可选否定的原子公式。
• 对于每个原子公式，使用预训练的知识图谱嵌入（如TransE、RotatE）执行单跳推理，基于源实体、关系、方向和否定计算中间实体嵌入。
• 这些中间结果被解释为在查询图节点之间传递的‘逻辑消息’。
• 通过多层感知机（MLP）对这些消息进行聚合，逻辑消息传递神经网络（LMPNN）逐步更新节点嵌入。
• 通过LMPNN的前向传播预测最终答案嵌入，该过程将整个逻辑推理过程建模为可微分的消息传递计算。
• 该框架在复杂查询上进行端到端训练，其关键创新在于使用预训练知识图谱嵌入进行局部推理，而仅使用神经网络进行消息聚合和最终预测。

实验结果

研究问题

• RQ1 能否有效利用基于预训练知识图谱嵌入的单跳推理，构建一种可扩展且准确的神经CQA模型？
• RQ2 将知识图谱嵌入与神经集合运算符解耦，是否能提升复杂查询回答中的性能与可解释性？
• RQ3 基于查询图的消息传递架构是否能优于基于运算符树的神经模型在CQA中的表现？
• RQ4 所提出的LMPNN框架在性能与效率方面与现有神经和符号化CQA方法相比如何？
• RQ5 在可训练参数极少（如NELL数据集上仅1%）的情况下，能否在CQA中实现最先进结果？

主要发现

• LMPNN在FB15k-237和NELL数据集上均达到最先进性能，优于所有现有神经CQA模型，涵盖所有标准EFO-1查询类型。
• 在FB15k-237上，LMPNN在所有查询上的平均倒数排名（MRR）达到24.1%，优于相同设置下的GNN-QE（26.8%）和ENeSy（24.5%）。
• 在NELL上，LMPNN的MRR达到30.7%，优于GNN-QE（28.9%）和ENeSy（29.4%），尽管仅使用了1%的可训练参数。
• LMPNN展现出卓越的可扩展性，批量大小为1024时GPU内存需求低于10GB，而GNN-QE在批量大小为32时需128GB。
• 即使可训练参数极少，模型性能依然强劲，表明主要学习能力来源于预训练知识图谱嵌入与逻辑消息聚合。
• 结果表明，将符号化推理与神经消息传递结合具有高度有效性，且LMPNN与符号化集成方法兼容，为未来混合模型开辟了新途径。