[논문 리뷰] Temporal Knowledge Graph Completion with Time-sensitive Relations in Hypercomplex Space

Li Cai, Xin Mao외 5명|arXiv (Cornell University)|2024. 03. 02.

Cognitive Computing and Networks인용 수 4

한 줄 요약

이 논문은 시간에 민감한 관계를 시간 인식 회전과 주기적 시간 이동을 통해 캡처하기 위해 초복소 공간에서 허수 벡터를 활용하는 새로운 시간 지식 그래프 완성 모델인 TQuatE를 제안한다. 더 높은 표현 능력을 지닌 동적 관계 패턴을 모델링함으로써 TQuatE는 ICEWS14, ICEWS05-15, GDELT 데이터셋에서 기존 방법들을 능가하는 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Temporal knowledge graph completion (TKGC) aims to fill in missing facts within a given temporal knowledge graph at a specific time. Existing methods, operating in real or complex spaces, have demonstrated promising performance in this task. This paper advances beyond conventional approaches by introducing more expressive quaternion representations for TKGC within hypercomplex space. Unlike existing quaternion-based methods, our study focuses on capturing time-sensitive relations rather than time-aware entities. Specifically, we model time-sensitive relations through time-aware rotation and periodic time translation, effectively capturing complex temporal variability. Furthermore, we theoretically demonstrate our method's capability to model symmetric, asymmetric, inverse, compositional, and evolutionary relation patterns. Comprehensive experiments on public datasets validate that our proposed approach achieves state-of-the-art performance in the field of TKGC.

연구 동기 및 목표

• 기존 TKGC 방법들이 정적 또는 시간 인식 엔티티를 초월해 동적이고 시간에 따라 변하는 관계를 모델링하는 데에 한계를 보이고 있는 문제를 해결하기 위해.
• 특히 허수 공간의 더 rich한 구조, 즉 허수를 활용하여 시간 관계의 표현 능력을 향상시키기 위해.
• 허수 공간에서 기하학적 연산을 통해 대칭성, 비대칭성, 역관계, 조합, 진화 등의 복잡한 시간 패턴을 모델링하기 위해.
• 고정된 초모수에 민감한 시간 창에 의존하는 것을 제거하기 위해 주기적 시간 이동을 도입함으로써 더 견고한 시간 모델링을 가능하게 하기 위해.
• 다양한 관계 패턴을 모델링하기 위한 이론적 근거를 제공하면서도 표준 TKGC 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 엔티티, 관계, 타임스탬프에 모두 허수 벡터 임베딩을 사용하며, 각 임베딩은 실수부 하나와 허수부 세 개로 구성된다.
• 시간 인식 회전은 허수의 힐버트 곱을 통해 구현되어 엔티티와 관계 간의 국소적 시간 상호작용을 캡처한다.
• 주기적 시간 이동은 시간 창 내에서 반복되는 시간 패턴을 모델링하기 위해 도입되었으며, 고정된 초모수 의존성 시간 창의 필요성을 대체한다.
• 초복소 공간에서의 회전과 이동을 적용하여 관계 표현에 시간 역학을 통합함으로써 동적 관계 진화를 가능하게 한다.
• 이론적 분석을 통해 모델이 대칭성, 비대칭성, 역관계, 조합, 진화 관계 패턴을 모두 표현할 수 있음을 확인한다.
• 임베딩 및 시간 정규화 항을 포함한 병합 손실 함수를 사용하여 모델을 최적화하며, 초모수는 추론 실험을 통해 조정된다.

Figure 1: Subgraph example from ICEWS14 dataset for TKGC. Nodes on the graph represent entities, including Obama, Japan, South Korea, North Korea, and edges signify relations (with timestamps in parentheses), encompassing Host a visit, Make a visit, Express intent to meet or negotiate, Engage in neg

실험 결과

연구 질문

• RQ1 초복소 공간에서의 허수 기반 표현 방식이 실수 또는 복소수 공간 방법에 비해 시간에 민감한 관계를 더 잘 모델링할 수 있는가?
• RQ2 시간 인식 회전과 주기적 시간 이동이 동적 지식 그래프에서 국소적 및 반복적인 시간 패턴을 얼마나 효과적으로 캡처할 수 있는가?
• RQ3 제안된 방법이 ICEWS14, ICEWS05-15, GDELT와 같이 복잡도가 다른 다양한 시간 데이터셋에 대해 일반화되는가?
• RQ4 고정된 시간 창이 필요 없어짐으로써 모델의 견고성과 성능이 얼마나 향상되는가?
• RQ5 이론적으로 모델이 대칭성, 역관계, 조합과 같은 기본 관계 패턴을 얼마나 잘 표현할 수 있는가?

주요 결과

• TQuatE는 ICEWS14에서 최신 기술 수준의 성능을 달성하였으며, MRR 0.639와 Hits@10 0.787을 기록하여 이전 최신 기술 수준 모델들을 능가한다.
• 추론 실험을 통해 주기적 시간 모델링이 성능 향상에 크게 기여하는 것으로 확인되었으며, 이를 제거할 경우 MRR가 0.629로 떨어졌다.
• 최적의 성능은 임베딩 차원 2000에서 달성되었으며, 이 이상일 경우 수익 감소 현상이 발생했다.
• 최적의 정규화 가중치는 λₑ ≈ 0.005 및 λₜ ≈ 0.1로 확인되었으며, 이는 시간 정규화가 더 큰 영향을 미친다는 것을 시사한다.
• 계산 비용이 높은 편이지만(2011초 대비 TeAST의 1487초), MRR에서 약간의 향상(0.639 대비 0.637)을 기록하여 그 효과를 입증했다.
• TQuatE는 TeAST와 유사한 파라미터 수를 가졌지만, 허수의 더 높은 표현 능력 덕분에 시간 역학을 더 잘 모델링하여 성능에서 앞서나간다.

Figure 2: TKGC performance for different embedding dimensions $d$ on ICEWS14.