[论文解读] Know-Evolve: Deep Temporal Reasoning for Dynamic Knowledge Graphs
Know-Evolve 提供了一个面向动态知识图谱的深度进化框架，将事实发生建模为由不断演化的实体嵌入调制的时间点过程，从而实现链接和时间预测，并具备开放世界推理能力。
The availability of large scale event data with time stamps has given rise to dynamically evolving knowledge graphs that contain temporal information for each edge. Reasoning over time in such dynamic knowledge graphs is not yet well understood. To this end, we present Know-Evolve, a novel deep evolutionary knowledge network that learns non-linearly evolving entity representations over time. The occurrence of a fact (edge) is modeled as a multivariate point process whose intensity function is modulated by the score for that fact computed based on the learned entity embeddings. We demonstrate significantly improved performance over various relational learning approaches on two large scale real-world datasets. Further, our method effectively predicts occurrence or recurrence time of a fact which is novel compared to prior reasoning approaches in multi-relational setting.
研究动机与目标
- 激发对带有事件时间戳的时序演化多关系知识图谱的推理。
- 开发一个框架，学习随时间非线性、相互演化的实体表示。
- 将事实发生建模为受关系评分调制的多变量时间点过程。
- 使能够同时预测某个事实是否会发生以及何时发生。
- 支持开放世界假设以及对未见实体的泛化。
提出的方法
- 将时序知识图谱定义为四元组（主体、关系、客体、时间），边允许循环。
- 将事实发生建模为关系调制的多维时间点过程，强度为 lambda(t|history) = exp(g_r^{e_s,e_o}(t)) * (t - t_bar)，其中 g_r^{e_s,e_o} 是双线性关系评分。
- 计算 g_r^{e_s,e_o}(t) = v^{e_s}(t-)^T R_r v^{e_o}(t-)，将强度与动态演化的实体嵌入绑定。
- 引入一个新颖的深度递归网络，通过方程（5）和（6）更新主体和客体嵌入，在多关系空间中捕捉时间漂移和互相演化。
- 通过对观测事件的最大似然进行训练，前向时间生存项使用随机采样近似，以处理不可处理的积分。
- 使用全局反向传播时序（Global BPTT）训练过程，在滑动时间窗口上处理事件之间的依赖关系。
实验结果
研究问题
- RQ1Know-Evolve 是否能够准确预测实体之间关系的下一次发生以及其发生的时间？
- RQ2时序演化的实体嵌入是否提升真实世界时序知识图谱的链接预测性能？
- RQ3将时序点过程与关系评分结合，与静态或非时序模型在链接和时间预测上的比较如何？
- RQ4该模型是否能有效处理开放世界假设和未见实体？
主要发现
- Know-Evolve 在两个大型真实世界时序知识图谱数据集上，在链接预测方面超过最先进的关系学习基线。
- 与竞争对手相比，该模型在预测质量随时间的波动更稳定、方差更低。
- Know-Evolve 在时间预测方面表现出色，在预测事件时间方面超过其他基于点过程的方法。
- 该方法在内存占用方面可与更简单的关系模型相比，显示出可扩展性。
- 证据表明时序点过程与演化嵌入的结合更好地捕捉多关系数据中的非线性时间动态。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。