[论文解读] Learning Sequence Encoders for Temporal Knowledge Graph Completion

Alberto García-Durán, Sebastijan Dumančić+1 more|arXiv (Cornell University)|Sep 10, 2018

Advanced Graph Neural Networks参考文献 16被引用 20

一句话总结

本文提出一种使用LSTM的序列编码方法，用于学习时间知识图谱中关系类型的时序感知表征，从而提升链接预测性能。通过将时间戳和时序谓词建模为标记序列，该方法增强了TransE和distMult等标准打分函数，在四个基准数据集上实现最先进性能，尤其在处理稀疏和异构的时间表达式方面表现优异。

ABSTRACT

Research on link prediction in knowledge graphs has mainly focused on static multi-relational data. In this work we consider temporal knowledge graphs where relations between entities may only hold for a time interval or a specific point in time. In line with previous work on static knowledge graphs, we propose to address this problem by learning latent entity and relation type representations. To incorporate temporal information, we utilize recurrent neural networks to learn time-aware representations of relation types which can be used in conjunction with existing latent factorization methods. The proposed approach is shown to be robust to common challenges in real-world KGs: the sparsity and heterogeneity of temporal expressions. Experiments show the benefits of our approach on four temporal KGs. The data sets are available under a permissive BSD-3 license 1.

研究动机与目标

• 解决时间知识图谱中关系具有时间边界的链接预测挑战，该问题在静态知识图谱模型中常被忽视。
• 克服现实世界知识图谱中时间表达的稀疏性和异构性，这些因素阻碍了有效的表征学习。
• 在不修改其核心打分函数的前提下，将时间信息集成到现有知识图谱嵌入方法中。
• 通过时间标记序列建模学习共享的归纳偏置，实现对未见时间戳的泛化能力。

提出的方法

• 将时间事实表示为标记序列，包括关系类型如'since'或'until'以及时间戳中的数字序列。
• 使用双向LSTM将这些标记序列编码为时序感知的关系嵌入，以捕捉时间模式和结构规律。
• 将学习到的时序感知关系嵌入与标准打分函数（如TransE和distMult）结合，用于链接预测。
• 使用Adam优化器进行端到端训练，采用分类交叉熵损失函数，并通过Dropout进行正则化。
• 将该方法应用于主体和对象预测任务，使用MRR、hits@10和hits@1等标准指标进行评估。
• 使用t-SNE可视化展示，所学嵌入在潜在空间中能有效捕捉有意义的时间结构。

实验结果

研究问题

• RQ1 循环神经网络能否有效编码时间标记序列（如'since'、'2009-01'）以提升知识图谱补全性能？
• RQ2 在泛化能力和性能方面，与为每个时间戳独立学习嵌入的方法相比，基于标记级别的时间建模有何优势？
• RQ3 时序感知表征在稀疏和异构的时间知识图谱中，能在多大程度上提升链接预测性能？
• RQ4 当训练数据缺乏足够示例时，该方法是否能泛化到未见的时间戳，特别是对于罕见时间点？
• RQ5 该方法能否在不修改架构的前提下，无缝集成到如TransE和distMult等现有知识图谱嵌入模型中？

主要发现

• TA-TransE和TA-distMult在所有四个时间知识图谱数据集上的MRR、hits@10和hits@1指标上均持续优于标准的TransE和distMult。
• 在YAGO15k数据集上，该方法的训练损失低于TransE，表明其因有效利用时间信号而具备更优的优化性能。
• TTransE（为每个时间戳独立学习嵌入）在时间多样性高的数据集（如Wikidata）上表现较差，主要由于稀疏性问题，而所提方法展现出更强的泛化能力。
• t-SNE可视化结果证实，时间谓词序列的嵌入在空间中形成有意义的聚类，表明模型有效捕捉了时间语义。
• 该方法对未见时间戳具有良好的泛化能力，因为基于RNN的序列编码为相似时间模式（如同一世纪或十年）提供了归纳偏置。
• 该方法对不规则和异构的时间表达（如'2009-01'或'since 2009'）表现出鲁棒性，通过将其视为标记序列进行处理。