[논문 리뷰] TeRo: A Time-aware Knowledge Graph Embedding via Temporal Rotation

Chengjin Xu, Mojtaba Nayyeri외 3명|arXiv (Cornell University)|2020. 10. 02.

Advanced Graph Neural Networks참고 문헌 26인용 수 10

한 줄 요약

TeRo는 복소벡터 공간 내에서 회전을 통해 시간의 변화를 모델링하는 시간 인지 지식 그래프 임베딩 모델을 제안한다. 시간 간격을 포함한 관계에 대해 이중 복소 임베딩을 사용한다. TeRo는 네 개의 TKG에서 링크 예측 성능에서 기존 최고 수준의 모델들을 크게 앞서며, 시간 해상도가 시간 추론에 중요한 영향을 미친다는 점을 입증한다.

ABSTRACT

In the last few years, there has been a surge of interest in learning representations of entitiesand relations in knowledge graph (KG). However, the recent availability of temporal knowledgegraphs (TKGs) that contain time information for each fact created the need for reasoning overtime in such TKGs. In this regard, we present a new approach of TKG embedding, TeRo, which defines the temporal evolution of entity embedding as a rotation from the initial time to the currenttime in the complex vector space. Specially, for facts involving time intervals, each relation isrepresented as a pair of dual complex embeddings to handle the beginning and the end of therelation, respectively. We show our proposed model overcomes the limitations of the existing KG embedding models and TKG embedding models and has the ability of learning and inferringvarious relation patterns over time. Experimental results on four different TKGs show that TeRo significantly outperforms existing state-of-the-art models for link prediction. In addition, we analyze the effect of time granularity on link prediction over TKGs, which as far as we know hasnot been investigated in previous literature.

연구 동기 및 목표

• 기존 지식 그래프 임베딩 모델이 시간 역학을 다루는 데에 한계를 보이고 있는 문제를 해결하기 위해.
• 시간 지식 그래프(TKG)에서 다양한 시간 관계 패턴을 학습하고 추론할 수 있는 모델을 개발하기 위해.
• 시간 해상도가 TKG에서 링크 예측 성능에 미치는 영향을 조사하기 위해. 이는 이전 문헌에서 다뤄지지 않은 요소이다.
• 데이터셋 크기를 크게 증가시키지 않고도 시간 간격을 효율적으로 표현하기 위해.

제안 방법

• TeRo는 초기 시간에서 현재 시간으로의 엔티티 임베딩의 복소벡터 공간 내에서의 회전을 통해 시간적 진화를 모델링한다.
• 각 관계는 시작 시간(rb)과 종료 시간(re)을 위한 이중 복소 임베딩 쌍으로 표현되며, 시간 간격을 모델링할 수 있다.
• 모델는 복소수 벡터를 사용하며, 회전을 통해 시간 전이를 인코딩함으로써 반사적, 1-n 등 다양한 복잡한 관계 패턴을 표현할 수 있다.
• 시간 해상도는 각 데이터셋에 맞게 조정된다 (예: ICEWS14에서는 183단계, Wikidata12k에서는 82단계). 시간 포인트와 간격을 동일하게 처리하며 성능 최적화를 위해 조정된다.
• 시간 간격을 여러 시간 포인트로 분할하는 대신, 두 개의 4중항 (s, rb, o, tb)과 (s, re, o, te)를 사용함으로써 데이터 확장을 방지한다.
• 링크 예측은 복소수 회전 공식 r × s ≈ o를 사용하여 4중항 (s, r, o, t)의 점수를 매겨 수행한다.

실험 결과

연구 질문

• RQ1 시간 해상도는 링크 예측 성능에 어떻게 영향을 미치는가?
• RQ2 복소벡터 공간 내에서의 회전 기반 모델이 일시적 관계나 반사적 관계를 포함한 다양한 시간 관계 패턴을 효과적으로 포착하고 추론할 수 있는가?
• RQ3 다양한 시간 표기 형식을 가진 다양한 TKG에서 TeRo는 기존 최고 수준의 KGE 및 TKGE 모델과 비교해 링크 예측 성능에서 어떻게 나타나는가?
• RQ4 관계의 시작 및 종료 시간에 대한 이중 복소 임베딩은 시간 간격 사실에 대한 모델링 효율성과 성능 향상에 기여하는가?

주요 결과

• TeRo는 ICEWS14, ICEWS05-15, YAGO11k, Wikidata12k 네 개의 TKG에서 링크 예측 성능에서 모든 기준 모델, 특히 최고 수준의 KGE 및 TKGE 모델들을 크게 앞선다.
• ICEWS14에서 TeRo는 Hits@10 점수 0.827을 기록했으며, 이는 다음으로 높은 성능을 보인 모델(ATiSE)보다 5퍼센트 이상 높은 성능이다.
• 모델의 성능은 시간 해상도에 매우 민감하다: u=365(1년)를 사용할 경우 'Host a visit'와 같은 일시적 관계에 대해 잘못된 예측을 내놓는 반면, u=1(일일) 또는 u=30(월간)을 사용할 경우 정확한 결과를 도출한다.
• 시간 간격에 대해 TeRo의 이중 임베딩 접근 방식은 데이터 확장을 피하며, 데이터셋 크기를 2배 이내로 증가시키지만, HyTE 및 ATiSE와 같은 기존 방법들은 8–15배로 증가시킨다.
• 임베딩 차이의 시각화 결과, 짧은 기간 관계(예: 'deadIn')는 rb와 re의 실수부와 허수부가 매우 유사한 반면, 장기 관계(예: 'isMarriedTo')는 시간의 진화를 반영하는 허수부가 뚜렷하게 다름을 보였다.
• TeRo의 학습 시간은 효율적이었다: ICEWS14에서는 1에포크당 4.3초, YAGO11k에서는 1.9초이며, 500차원 임베딩을 사용했고, ATiSE 및 DE-SimplE와 같은 SOTA 모델보다 메모리 사용량은 1.8–2.2배 뿐이었다.