[논문 리뷰] Temporal Knowledge Graph Embedding Model based on Additive Time Series Decomposition

Chengjin Xu, Mojtaba Nayyeri외 3명|arXiv (Cornell University)|2019. 11. 18.

Advanced Graph Neural Networks참고 문헌 32인용 수 37

한 줄 요약

ATiSE 모델은 엔티티와 관계의 시간 진화를 가법적 시계열로 모델링하고 불확실성을 포착하기 위해 가우스 분포를 사용하여 네 가지 시계열 KG에서 링크 예측을 최첨단 수준으로 달성합니다.

ABSTRACT

Knowledge Graph (KG) embedding has attracted more attention in recent years. Most KG embedding models learn from time-unaware triples. However, the inclusion of temporal information beside triples would further improve the performance of a KGE model. In this regard, we propose ATiSE, a temporal KG embedding model which incorporates time information into entity/relation representations by using Additive Time Series decomposition. Moreover, considering the temporal uncertainty during the evolution of entity/relation representations over time, we map the representations of temporal KGs into the space of multi-dimensional Gaussian distributions. The mean of each entity/relation embedding at a time step shows the current expected position, whereas its covariance (which is temporally stationary) represents its temporal uncertainty. Experimental results show that ATiSE chieves the state-of-the-art on link prediction over four temporal KGs.

연구 동기 및 목표

• 지식 그래프 임베딩에 시간 정보를 통합하여 시간 지니 사실의 링크 예측 성능을 향상시키는 것.
• 가법 시계열 구성요소(추세, 계절성, 무작위)로 엔티티 및 관계 표현의 진화를 모델링하는 것.
• 시간에 따른 임베딩을 가우시안 분포로 표현하여 시간적 불확실성을 포착하는 것.
• 대각 공분산 및 KL-발산 기반 채점으로 효율적인 학습을 달성하는 것.
• 여러 데이터셋에서 기존 TKGE 및 정적 KGE 기준선보다 실증적 개선을 입증하는 것.

제안 방법

• 각 엔티티와 관계를 가법 시계열을 통해 시간에 따라 진화하는 임베딩으로 표현: e_i,t = e_i + alpha_e,i w_e,i t + beta_e,i sin(2 pi omega_e,i t) + N(0, Sigma_e,i) 및 관계도 r_p,t에 대해 유사하게 표현.
• 시간에 따른 평균 임베딩을 선형 추세와 계절 성분으로 모델링하고 가우시안 노이즈를 사용하여 시간 불확실성을 대각 공분산 행렬로 인코딩.
• 시점 t의 사실을 변환된 엔티티 분포 P_s,t - P_o,t 및 관계 분포 P_r,t로 표현하고 대칭 KL 발산 기반 측정 f_t(e_s, r_p, e_o) = 0.5*(KL(P_r,t || P_e,t) + KL(P_e,t || P_r,t))로 채점.
• 임베딩의 노름 및 공분산을 제약(x)로 안정성과 양의 정의 공분산 보장을 위해 ||e_i||_2 = 1, ||r_p||_2 = 1; c_min I <= Sigma_l <= c_max I.
• 네거티브 샘플링 및 자기 대립적 학습을 사용하는 네거티브 샘플링 손실과 공분산에 대한 정규화로 학습.

실험 결과

연구 질문

• RQ1 KG 임베딩에 시간 정보를 어떻게 통합하여 시간에 따라 변하는 사실을 구분할 수 있는가?
• RQ2 가법 시계열 분해와 가우시안 불확실성을 이용하는 것이 기존 TKGE 방법에 비해 시계열 KG에서 링크 예측을 향상시키는가?
• RQ3 임베딩 차원수 및 시간 구성요소가 여러 TKGE 데이터셋에서 예측 성능에 어떤 영향을 미치는가?
• RQ4 정적 KGE 및 다른 TKGE 모델에 비해 ATiSE의 계산적 무역(공간/시간)은 어떤가?

주요 결과

모델	MRR	Hits@1	Hits@3	Hits@10
ICEWS14 TransE	0.280	0.094	-	-
ICEWS14 DistMult	0.439	0.323	-	-
ICEWS14 ComplEx-N3	0.467	0.347	0.527	0.716
ICEWS14 RotatE	0.418	0.291	0.478	0.690
ICEWS14 QuatE 2	0.471	0.353	0.530	0.712
ICEWS14 TTransE	0.255	0.074	-	-
ICEWS14 HyTE	0.297	0.108	0.416	0.655
ICEWS14 TA-TransE	0.275	0.095	-	-
ICEWS14 TA-DistMult	0.477	0.363	-	-
ICEWS14 DE-SimplE	0.526	0.418	0.592	0.725
ICEWS14 ATiSE	0.550	0.436	0.629	0.750
ICEWS05-15 TransE	0.637	0.294	0.090	-
ICEWS05-15 DistMult	0.456	0.337	-	-
ICEWS05-15 ComplEx-N3	0.481	0.362	0.535	0.729
ICEWS05-15 RotatE	0.304	0.164	0.355	0.595
ICEWS05-15 QuatE 2	0.482	0.370	0.529	0.727
ICEWS05-15 TTransE	0.271	0.084	-	-
ICEWS05-15 HyTE	0.316	0.116	0.445	0.681
ICEWS05-15 TA-TransE	0.299	0.096	-	-
ICEWS05-15 TA-DistMult	0.474	0.346	-	-
ICEWS05-15 DE-SimplE	0.513	0.392	0.578	0.748
ICEWS05-15 ATiSE	0.519	0.378	0.606	0.794
YAGO11k TransE	0.178	0.100	0.138	0.244
YAGO11k DistMult	0.222	0.119	0.238	0.460
YAGO11k ComplEx-N3	0.233	0.123	0.253	0.436
YAGO11k RotatE	0.221	0.116	0.236	0.461
YAGO11k QuatE 2	0.230	0.125	0.243	0.416
YAGO11k TTransE	0.172	0.096	0.184	0.329
YAGO11k HyTE	0.180	0.098	0.197	0.333
YAGO11k ATiSE	0.280	0.175	0.317	0.481
Wikidata12k TransE	0.178	0.100	0.192	0.339
Wikidata12k DistMult	0.222	0.119	0.238	0.460
Wikidata12k ComplEx-N3	0.233	0.123	0.253	0.436
Wikidata12k RotatE	0.221	0.116	0.236	0.461
Wikidata12k QuatE 2	0.230	0.125	0.243	0.416
Wikidata12k TTransE	0.172	0.096	0.184	0.329
Wikidata12k HyTE	0.180	0.098	0.197	0.333
Wikidata12k ATiSE	0.280	0.175	0.317	0.481

• ATiSE는 네 가지 시계열 KG 데이터셋에서 링크 예측에서 최첨단 TKGE 모델 및 일부 정적 KGE 모델보다 우수한 성능을 보인다.
• ICEWS14 및 ICEWS05-15에서 ATiSE는 경쟁자 중 최상의 MRR 및 Hits@10를 달성; 예를 들어 Table 4에서 ICEWS14의 MRR은 0.550, ICEWS05-15의 MRR은 0.519, Hits@10은 각각 0.750 및 0.794에 도달한다.
• YAGO11k 및 Wikidata12k에서 ATiSE는 최상의 또는 근접 최상의 MRR 및 Hits@1/3를 달성하고, 강한 Hits@10 성능을 보인다(예: Wikidata12k Hits@10 = 0.481).
• 모델은 정적 GKE 모델과 대략 같은 공간 복잡도를 유지하고 대각 공분산 덕분에 계산이 효율적이며 학습 시간도 실용적이다(예: RTX2080에서 d=100일 때 에포크당 2.8초).
• 특히 임베딩 차원수와 가법 시계열 구성요소가 성능에 큰 영향을 미치며 ATiSE는 더 낮은 차원에서도 최첨단 결과를 달성한다는 계측 결과가 나타난다.