[论文解读] Know-Evolve: Deep Reasoning in Temporal Knowledge Graphs.

Rakshit Trivedi, Hanjun Dai+2 more|arXiv (Cornell University)|May 16, 2017

Advanced Graph Neural Networks参考文献 15被引用 6

一句话总结

该论文提出 Know-Evolve，一种深度学习框架，通过学习动态的、非线性演化的实体嵌入，并利用这些嵌入参数化多变量点过程，以实现事实发生预测。该方法在真实世界数据集上实现了更优的推理性能和新颖的时序预测能力。

ABSTRACT

Knowledge Graphs are important tools to model multi-relational data that serves as information pool for various applications. Traditionally, these graphs are considered to be static in nature. However, recent availability of large scale event-based interaction data has given rise to dynamically evolving knowledge graphs that contain temporal information for each edge. Reasoning over time in such graphs is not yet well understood. In this paper, we present a novel deep evolutionary knowledge network architecture to learn entity embeddings that can dynamically and non-linearly evolve over time. We further propose a multivariate point process framework to model the occurrence of a fact (edge) in continuous time. To facilitate temporal reasoning, the learned embeddings are used to compute relationship score that further parametrizes intensity function of the point process. We demonstrate improved performance over various existing relational learning models on two large scale real-world datasets. Further, our method effectively predicts occurrence or recurrence time of a fact which is novel compared to any prior reasoning approaches in multi-relational setting.

研究动机与目标

• 为解决包含时序边信息的动态演化知识图谱在推理方面的空白。
• 对多关系知识图谱中事实（边）的连续时间发生进行建模。
• 开发一种方法，学习随时间非线性演化的实体嵌入。
• 实现对事实发生时间和重复发生时间的预测，这是先前关系学习模型不具备的能力。

提出的方法

• 设计了一种深度演化知识网络，以非线性方式学习随时间演化的实体嵌入。
• 采用多变量点过程框架，对连续时间中事实的随机发生进行建模。
• 利用学习到的实体嵌入计算关系得分，以参数化点过程的强度函数。
• 基于随时间演化的嵌入，使用可微分得分函数定义强度函数，支持端到端训练。
• 使用基于似然的优化目标，通过端到端训练最大化观察到的事实发生的概率。
• 该架构支持时序推理以及未来或重复发生事实事件的预测。

实验结果

研究问题

• RQ1 深度神经网络能否有效学习时序知识图谱中动态的、非线性演化的实体表示？
• RQ2 该模型在连续时间中预测事实发生时间或其重复发生时间的能力如何？
• RQ3 将时序动态引入知识图谱推理是否相比静态模型能提升性能？
• RQ4 该模型能否在具有复杂时序模式的大规模真实世界数据集上实现良好泛化？

主要发现

• Know-Evolve 在两项大规模真实世界数据集上的推理性能优于现有关系学习模型。
• 该模型实现了对事实发生时间和重复发生时间的新型预测，这是先前方法所不支持的。
• 使用动态嵌入和点过程建模显著提升了对时序事实模式的建模能力。
• 该框架在真实世界时序知识图谱数据上表现出强大的泛化能力和可扩展性。