[论文解读] Complex Query Answering on Eventuality Knowledge Graph with Implicit Logical Constraints

Jiaxin Bai, Xin Liu+3 more|arXiv (Cornell University)|May 30, 2023

Semantic Web and Ontologies被引用 5

一句话总结

本文提出了复杂事件体查询问答（CEQA），一种用于在事件体知识图谱（EVKGs）上进行推理的框架，该框架对事件发生施加显式和隐式的逻辑约束——特别是时间顺序和因果顺序。本文提出了一种记忆增强型查询编码（MEQE）方法，在使用定理证明器构建的CEQA基准测试上，显著提升了当前最先进神经查询编码器的性能，在ASER数据集上达到了最先进水平。

ABSTRACT

Querying knowledge graphs (KGs) using deep learning approaches can naturally leverage the reasoning and generalization ability to learn to infer better answers. Traditional neural complex query answering (CQA) approaches mostly work on entity-centric KGs. However, in the real world, we also need to make logical inferences about events, states, and activities (i.e., eventualities or situations) to push learning systems from System I to System II, as proposed by Yoshua Bengio. Querying logically from an EVentuality-centric KG (EVKG) can naturally provide references to such kind of intuitive and logical inference. Thus, in this paper, we propose a new framework to leverage neural methods to answer complex logical queries based on an EVKG, which can satisfy not only traditional first-order logic constraints but also implicit logical constraints over eventualities concerning their occurrences and orders. For instance, if we know that "Food is bad" happens before "PersonX adds soy sauce", then "PersonX adds soy sauce" is unlikely to be the cause of "Food is bad" due to implicit temporal constraint. To facilitate consistent reasoning on EVKGs, we propose Complex Eventuality Query Answering (CEQA), a more rigorous definition of CQA that considers the implicit logical constraints governing the temporal order and occurrence of eventualities. In this manner, we propose to leverage theorem provers for constructing benchmark datasets to ensure the answers satisfy implicit logical constraints. We also propose a Memory-Enhanced Query Encoding (MEQE) approach to significantly improve the performance of state-of-the-art neural query encoders on the CEQA task.

研究动机与目标

• 为事件体中心的知识图谱（EVKGs）中的复杂查询问答（CQA）缺乏形式化，特别是关于事件发生和时间顺序的隐式逻辑约束，提出解决方案。
• 形式化一个新问题定义——复杂事件体查询问答（CEQA），严格整合事件序列中的隐式约束，如因果关系和先后顺序。
• 使用自动化定理证明器构建CEQA的基准数据集，以确保逻辑一致性，并在答案中强制执行隐式约束。
• 通过引入一种记忆增强架构，提升神经查询编码模型在CEQA上的表现，以捕捉长距离依赖关系和约束交互。
• 证明MEQE可显著提升现有神经查询编码器在EVKG上复杂逻辑查询上的性能。

提出的方法

• 将CEQA定义为CQA的扩展，显式建模事件体的发生及其时间顺序，包括因果关系和先后顺序等隐式约束。
• 使用自动化定理证明器构建基准数据集，以生成逻辑一致的答案，确保答案尊重隐式约束，如时间上的优先顺序和因果合理性。
• 设计一种记忆增强型查询编码（MEQE）模块，通过外部记忆存储和推理逻辑约束，提升查询表示的保真度。
• 将MEQE集成到当前最先进神经查询编码器（如GQE、NRN）中，增强其处理EVKG上复杂逻辑查询的能力。
• 采用序列编码策略将复杂查询线性化，并将其输入至MEQE增强的编码器中，实现端到端训练与推理。
• 利用预训练嵌入和消息传递机制，提升在不完整EVKG上的泛化能力和推理性能。

实验结果

研究问题

• RQ1 如何形式化复杂查询问答，以包含EVKG中事件体发生和时间顺序的隐式逻辑约束？
• RQ2 定理证明器在多大程度上可用于生成CEQA的逻辑一致基准数据集？
• RQ3 记忆增强型神经架构能否提升现有查询编码器在EVKG上复杂逻辑查询的推理性能？
• RQ4 隐式约束（如因果关系和先后顺序）如何影响事件体推理中查询答案的逻辑一致性？
• RQ5 MEQE在EVKG上复杂逻辑查询的性能相比标准神经查询编码器提升了多少？

主要发现

• 所提出的CEQA框架通过整合因果关系、先后顺序和时间顺序等隐式逻辑约束，成功形式化了EVKG上的复杂查询问答。
• 使用定理证明器生成基准数据集，确保所有答案在逻辑上一致并尊重隐式约束，从而提升了数据集的可靠性。
• MEQE显著提升了当前最先进神经查询编码器在CEQA任务上的性能，在ASER基准测试上F1分数最高提升了23.22%。
• 由于其记忆增强的推理机制，MEQE模型在各类查询类型（包括合取、因果和序列查询）中均表现出强大的泛化能力。
• 该框架在CEQA基准上优于现有方法（如GQE、NRN和KG-Transformer），证实了约束感知查询编码的有效性。
• 结果验证了建模隐式约束对于事件体知识图谱中稳健逻辑推理至关重要，推动了从以实体为中心的推理向类似System II的认知模式发展。