[论文解读] Temporal Knowledge Graph Embedding Model based on Additive Time Series Decomposition

Chengjin Xu, Mojtaba Nayyeri+3 more|arXiv (Cornell University)|Nov 18, 2019

Advanced Graph Neural Networks参考文献 32被引用 37

一句话总结

ATiSE 将实体及关系的时间演化表示为加性时间序列，并使用高斯分布来捕捉不确定性，在四个时态知识图上实现了最先进的链接预测。

ABSTRACT

Knowledge Graph (KG) embedding has attracted more attention in recent years. Most KG embedding models learn from time-unaware triples. However, the inclusion of temporal information beside triples would further improve the performance of a KGE model. In this regard, we propose ATiSE, a temporal KG embedding model which incorporates time information into entity/relation representations by using Additive Time Series decomposition. Moreover, considering the temporal uncertainty during the evolution of entity/relation representations over time, we map the representations of temporal KGs into the space of multi-dimensional Gaussian distributions. The mean of each entity/relation embedding at a time step shows the current expected position, whereas its covariance (which is temporally stationary) represents its temporal uncertainty. Experimental results show that ATiSE chieves the state-of-the-art on link prediction over four temporal KGs.

研究动机与目标

• 将时间信息纳入知识图谱嵌入，以提升时态知识图谱上的链接预测。
• 使用加性时间序列组件（趋势、季节性、随机）建模实体和关系表示的演化。
• 将随时间演化的嵌入表示为高斯分布，以捕捉时间不确定性。
• 使用对角协方差矩阵和基于KL散度的评分实现高效训练。
• 展示在多数据集上相对于最先进的 TKGE 和静态 KGE 基线的经验改进。

提出的方法

• 通过加性时间序列建模每个实体和关系的随时间演化的嵌入：e_i,t = e_i + alpha_e,i w_e,i t + beta_e,i sin(2 pi omega_e,i t) + N(0, Sigma_e,i)，以及 r_p,t 同样表示。
• 将时间上的均值嵌入建模为线性趋势加季节性成分，带高斯噪声；使用对角协方差矩阵来编码时间不确定性。
• 将时间 t 的事实表示为变换后的实体分布 P_s,t - P_o,t 和关系分布 P_r,t，并用对称的基于KL散度的度量 f_t(e_s, r_p, e_o) = 0.5*(KL(P_r,t || P_e,t) + KL(P_e,t || P_r,t)) 进行打分。
• 约束嵌入范数和协方差（||e_i||_2 = 1, ||r_p||_2 = 1; c_min I <= Sigma_l <= c_max I）以确保稳定性和正定协方差。
• 使用负采样和自对抗训练结合负采样损失，以及对协方差的正则化进行训练。

实验结果

研究问题

• RQ1 如何将时间信息纳入 KG 嵌入，以区分随时间变化的事实？
• RQ2 相较现有 TKGE 方法，加性时间序列分解与高斯不确定性是否能提升时态KG的链接预测？
• RQ3 嵌入维度和时间分量对多数据集上预测性能的影响？
• RQ4 相较于静态 KGE 和其他 TKGE 模型，ATiSE 的计算权衡（空间/时间）如何？

主要发现

Model	MRR	Hits@1	Hits@3	Hits@10
ICEWS14 TransE	0.280	0.094	-	-
ICEWS14 DistMult	0.439	0.323	-	-
ICEWS14 ComplEx-N3	0.467	0.347	0.527	0.716
ICEWS14 RotatE	0.418	0.291	0.478	0.690
ICEWS14 QuatE 2	0.471	0.353	0.530	0.712
ICEWS14 TTransE	0.255	0.074	-	-
ICEWS14 HyTE	0.297	0.108	0.416	0.655
ICEWS14 TA-TransE	0.275	0.095	-	-
ICEWS14 TA-DistMult	0.477	0.363	-	-
ICEWS14 DE-SimplE	0.526	0.418	0.592	0.725
ICEWS14 ATiSE	0.550	0.436	0.629	0.750
ICEWS05-15 TransE	0.637	0.294	0.090	-
ICEWS05-15 DistMult	0.456	0.337	-	-
ICEWS05-15 ComplEx-N3	0.481	0.362	0.535	0.729
ICEWS05-15 RotatE	0.304	0.164	0.355	0.595
ICEWS05-15 QuatE 2	0.482	0.370	0.529	0.727
ICEWS05-15 TTransE	0.271	0.084	-	-
ICEWS05-15 HyTE	0.316	0.116	0.445	0.681
ICEWS05-15 TA-TransE	0.299	0.096	-	-
ICEWS05-15 TA-DistMult	0.474	0.346	-	-
ICEWS05-15 DE-SimplE	0.513	0.392	0.578	0.748
ICEWS05-15 ATiSE	0.519	0.378	0.606	0.794
YAGO11k TransE	0.178	0.100	0.138	0.244
YAGO11k DistMult	0.222	0.119	0.238	0.460
YAGO11k ComplEx-N3	0.233	0.123	0.253	0.436
YAGO11k RotatE	0.221	0.116	0.236	0.461
YAGO11k QuatE 2	0.230	0.125	0.243	0.416
YAGO11k TTransE	0.172	0.096	0.184	0.329
YAGO11k HyTE	0.180	0.098	0.197	0.333
YAGO11k ATiSE	0.280	0.175	0.317	0.481
Wikidata12k TransE	0.178	0.100	0.192	0.339
Wikidata12k DistMult	0.222	0.119	0.238	0.460
Wikidata12k ComplEx-N3	0.233	0.123	0.253	0.436
Wikidata12k RotatE	0.221	0.116	0.236	0.461
Wikidata12k QuatE 2	0.230	0.125	0.243	0.416
Wikidata12k TTransE	0.172	0.096	0.184	0.329
Wikidata12k HyTE	0.180	0.098	0.197	0.333
Wikidata12k ATiSE	0.280	0.175	0.317	0.481

• ATiSE 在四个时态KG数据集的链接预测上超越最先进的TKGE模型及一些静态KGE模型。
• 在 ICEWS14 和 ICEWS05-15 上，ATiSE 获得最佳的 MRR 和 Hits@10；例如，MRR 在 ICEWS14 为 0.550，在 ICEWS05-15 为 0.519，Hits@10 分别为 0.750 和 0.794，见表4。
• 在 YAGO11k 和 Wikidata12k 上，ATiSE 实现最佳或接近最佳的 MRR 和 Hits@1/3，且 Hits@10 表现强劲（例如 Wikidata12k Hits@10 = 0.481）。
• 模型的空间复杂度接近静态 GKE 模型，且由于对角协方差，计算高效；训练时间也很实用（例如在 RTX2080 上 d=100 时每轮 2.8 秒）。
• 消融研究表明嵌入维度和加性时间序列分量显著影响性能，即使在较低维度下，ATiSE 也达到最先进的结果。