[논문 리뷰] Temporal Knowledge Graph Embedding Model based on Additive Time Series Decomposition

Chengjin Xu, Mojtaba Nayyeri외 3명|arXiv (Cornell University)|2019. 11. 18.

Advanced Graph Neural Networks참고 문헌 32인용 수 37

한 줄 요약

ATiSE 모델은 엔티티와 관계의 시간 진화를 가법적 시계열로 모델링하고 불확실성을 포착하기 위해 가우스 분포를 사용하여 네 가지 시계열 KG에서 링크 예측을 최첨단 수준으로 달성합니다.

ABSTRACT

Knowledge Graph (KG) embedding has attracted more attention in recent years. Most KG embedding models learn from time-unaware triples. However, the inclusion of temporal information beside triples would further improve the performance of a KGE model. In this regard, we propose ATiSE, a temporal KG embedding model which incorporates time information into entity/relation representations by using Additive Time Series decomposition. Moreover, considering the temporal uncertainty during the evolution of entity/relation representations over time, we map the representations of temporal KGs into the space of multi-dimensional Gaussian distributions. The mean of each entity/relation embedding at a time step shows the current expected position, whereas its covariance (which is temporally stationary) represents its temporal uncertainty. Experimental results show that ATiSE chieves the state-of-the-art on link prediction over four temporal KGs.

연구 동기 및 목표

• 지식 그래프 임베딩에 시간 정보를 통합하여 시간 지니 사실의 링크 예측 성능을 향상시키는 것.
• 가법 시계열 구성요소(추세, 계절성, 무작위)로 엔티티 및 관계 표현의 진화를 모델링하는 것.
• 시간에 따른 임베딩을 가우시안 분포로 표현하여 시간적 불확실성을 포착하는 것.
• 대각 공분산 및 KL-발산 기반 채점으로 효율적인 학습을 달성하는 것.
• 여러 데이터셋에서 기존 TKGE 및 정적 KGE 기준선보다 실증적 개선을 입증하는 것.

제안 방법

• 각 엔티티와 관계를 가법 시계열을 통해 시간에 따라 진화하는 임베딩으로 표현: e_i,t = e_i + alpha_e,i w_e,i t + beta_e,i sin(2 pi omega_e,i t) + N(0, Sigma_e,i) 및 관계도 r_p,t에 대해 유사하게 표현.
• 시간에 따른 평균 임베딩을 선형 추세와 계절 성분으로 모델링하고 가우시안 노이즈를 사용하여 시간 불확실성을 대각 공분산 행렬로 인코딩.
• 시점 t의 사실을 변환된 엔티티 분포 P_s,t - P_o,t 및 관계 분포 P_r,t로 표현하고 대칭 KL 발산 기반 측정 f_t(e_s, r_p, e_o) = 0.5*(KL(P_r,t || P_e,t) + KL(P_e,t || P_r,t))로 채점.
• 임베딩의 노름 및 공분산을 제약(x)로 안정성과 양의 정의 공분산 보장을 위해 ||e_i||_2 = 1, ||r_p||_2 = 1; c_min I <= Sigma_l <= c_max I.
• 네거티브 샘플링 및 자기 대립적 학습을 사용하는 네거티브 샘플링 손실과 공분산에 대한 정규화로 학습.

실험 결과

연구 질문

• RQ1 KG 임베딩에 시간 정보를 어떻게 통합하여 시간에 따라 변하는 사실을 구분할 수 있는가?
• RQ2 가법 시계열 분해와 가우시안 불확실성을 이용하는 것이 기존 TKGE 방법에 비해 시계열 KG에서 링크 예측을 향상시키는가?
• RQ3 임베딩 차원수 및 시간 구성요소가 여러 TKGE 데이터셋에서 예측 성능에 어떤 영향을 미치는가?
• RQ4 정적 KGE 및 다른 TKGE 모델에 비해 ATiSE의 계산적 무역(공간/시간)은 어떤가?

주요 결과

• ATiSE는 네 가지 시계열 KG 데이터셋에서 링크 예측에서 최첨단 TKGE 모델 및 일부 정적 KGE 모델보다 우수한 성능을 보인다.
• ICEWS14 및 ICEWS05-15에서 ATiSE는 경쟁자 중 최상의 MRR 및 Hits@10를 달성; 예를 들어 Table 4에서 ICEWS14의 MRR은 0.550, ICEWS05-15의 MRR은 0.519, Hits@10은 각각 0.750 및 0.794에 도달한다.
• YAGO11k 및 Wikidata12k에서 ATiSE는 최상의 또는 근접 최상의 MRR 및 Hits@1/3를 달성하고, 강한 Hits@10 성능을 보인다(예: Wikidata12k Hits@10 = 0.481).
• 모델은 정적 GKE 모델과 대략 같은 공간 복잡도를 유지하고 대각 공분산 덕분에 계산이 효율적이며 학습 시간도 실용적이다(예: RTX2080에서 d=100일 때 에포크당 2.8초).
• 특히 임베딩 차원수와 가법 시계열 구성요소가 성능에 큰 영향을 미치며 ATiSE는 더 낮은 차원에서도 최첨단 결과를 달성한다는 계측 결과가 나타난다.