[论文解读] Logic and Commonsense-Guided Temporal Knowledge Graph Completion

Guanglin Niu, Bo Li|arXiv (Cornell University)|Nov 30, 2022

Topic Modeling被引用 4

一句话总结

本文提出 LCGE，一种新颖的时序知识图谱补全模型，能够联合学习与时序相关的表示（包括时效性与因果性），以及与时序无关的常识知识。通过整合基于时序规则的谓词正则化与常识感知嵌入，LCGE 在三个基准数据集上达到最先进性能，并通过符号规则实现的因果推断提供可解释的预测结果。

ABSTRACT

A temporal knowledge graph (TKG) stores the events derived from the data involving time. Predicting events is extremely challenging due to the time-sensitive property of events. Besides, the previous TKG completion (TKGC) approaches cannot represent both the timeliness and the causality properties of events, simultaneously. To address these challenges, we propose a Logic and Commonsense-Guided Embedding model (LCGE) to jointly learn the time-sensitive representation involving timeliness and causality of events, together with the time-independent representation of events from the perspective of commonsense. Specifically, we design a temporal rule learning algorithm to construct a rule-guided predicate embedding regularization strategy for learning the causality among events. Furthermore, we could accurately evaluate the plausibility of events via auxiliary commonsense knowledge. The experimental results of TKGC task illustrate the significant performance improvements of our model compared with the existing approaches. More interestingly, our model is able to provide the explainability of the predicted results in the view of causal inference. The source code and datasets of this paper are available at https://github.com/ngl567/LCGE.

研究动机与目标

• 为解决现有 TKGC 模型在联合表示时序事件中的时效性与因果性方面的局限性。
• 通过融合时序敏感的事件动态与时序无关的常识知识，提升预测准确性。
• 通过挖掘的时序规则实现因果推断，提升模型可解释性。
• 构建统一框架，整合基于逻辑的推理与神经嵌入学习，用于时序知识图谱。

提出的方法

• 提出一种基于时序规则的谓词嵌入正则化策略，利用挖掘出的时序规则将因果性注入谓词表示中。
• 设计一种联合打分机制，结合时序敏感嵌入（用于时效性与因果性）与时序无关的常识嵌入。
• 提出一种时序规则学习算法，可从 TKG 中自动提取多样化的时序规则模式，超越单一时间约束。
• 部署符号推理模块，将查询事件与高质量时序规则匹配，实现可解释的推理。
• 采用双分支架构：一个用于时序感知事件打分，另一个用于基于常识的合理性评估。
• 使用可微分损失函数，在训练过程中同时优化 TKGC 性能与规则一致性。

实验结果

研究问题

• RQ1 统一模型能否有效表示时序知识图谱中的时效性与因果性？
• RQ2 常识知识如何提升缺失时序事件的合理性打分？
• RQ3 时序规则能否自动挖掘并用于增强 TKGC 的可解释性？
• RQ4 将基于逻辑的推理与神经嵌入结合，是否能显著超越现有数据驱动的 TKGE 模型？

主要发现

• LCGE 在三个基准数据集（ICEWS14、ICEWS05-15 和 Wikidata12k）上显著优于最先进基线模型。
• 在 ICEWS14 上，LCGE 相较于最佳基线 TeLM，MRR 提升 6.7%，Hits@1 提升 7.9%。
• 在 ICEWS05-15 上，LCGE 相较于 TeLM，MRR 提升 7.7%，Hits@1 提升 9.3%。
• 在 Wikidata12k 上，LCGE 的 MRR 相对提升 29.2%，Hits@1 提升 31.6%，表明其具备强大泛化能力。
• 消融实验确认，时序规则引导的正则化与常识模块均至关重要，其中后者对性能提升贡献更大。
• 案例研究显示，LCGE 通过将查询与符号化时序规则匹配，实现可解释预测，例如基于规则与已知事件推断出‘韩国’为访问事件的对象。