[논문 리뷰] Temporal Knowledge Graph Reasoning Based on Evolutional Representation Learning

Zixuan Li, Xiaolong Jin외 6명|arXiv (Cornell University)|2021. 04. 21.

Advanced Graph Neural Networks참고 문헌 41인용 수 14

한 줄 요약

이 논문은 시간적 인접한 지식 그래프 간의 구조적 의존성과 순차적 패턴을 모델링하기 위해 그래프 컨volution 네트워크(GCN)와 게이트드 순환 유닛을 결합한 순환 진화 네트워크인 RE-GCN을 제안한다. 이는 시간 지식 그래프 추론 작업에서 기존 방법 대비 최대 11.46%의 MRR 향상과 82배의 속도 향상을 달성하며, 정적 엔티티 성질을 통합하여 표현 학습을 향상시킨다.

ABSTRACT

Knowledge Graph (KG) reasoning that predicts missing facts for incomplete KGs has been widely explored. However, reasoning over Temporal KG (TKG) that predicts facts in the future is still far from resolved. The key to predict future facts is to thoroughly understand the historical facts. A TKG is actually a sequence of KGs corresponding to different timestamps, where all concurrent facts in each KG exhibit structural dependencies and temporally adjacent facts carry informative sequential patterns. To capture these properties effectively and efficiently, we propose a novel Recurrent Evolution network based on Graph Convolution Network (GCN), called RE-GCN, which learns the evolutional representations of entities and relations at each timestamp by modeling the KG sequence recurrently. Specifically, for the evolution unit, a relation-aware GCN is leveraged to capture the structural dependencies within the KG at each timestamp. In order to capture the sequential patterns of all facts in parallel, the historical KG sequence is modeled auto-regressively by the gate recurrent components. Moreover, the static properties of entities such as entity types, are also incorporated via a static graph constraint component to obtain better entity representations. Fact prediction at future timestamps can then be realized based on the evolutional entity and relation representations. Extensive experiments demonstrate that the RE-GCN model obtains substantial performance and efficiency improvement for the temporal reasoning tasks on six benchmark datasets. Especially, it achieves up to 11.46\% improvement in MRR for entity prediction with up to 82 times speedup comparing to the state-of-the-art baseline.

연구 동기 및 목표

• 시간 지식 그래프(TKG)에서 미래의 사실을 예측하는 데 있어 효율성과 효과성 측면에서 여전히 미비한 점을 해결하기 위해.
• 각 타임스탬프에서 동시성 사실 간의 구조적 의존성과 시간적으로 인접한 사실 간의 순차적 패턴을 통합된 프레임워크에서 포괄적으로 포착하기 위해.
• 엔티티 유형과 위치와 같은 정적 엔티티 성질을 배경 지식으로 통합하여 표현 학습을 향상시키기 위해.
• 기존 SOTA 모델 대비 높은 성능을 달성하면서도 상당한 효율성 향상을 이룰 수 있도록 하기 위해.

제안 방법

• 관계 인식 GCN를 사용하여 각 타임스탬프의 지식 그래프 내에서 국소적 엔티티 및 관계 상호작용을 모델링함으로써 구조적 의존성을 포착한다.
• 시간 게이트 구성 요소를 갖춘 게이트드 순환 유닛(GRU)은 역사적 지식 그래프 시퀀스를 자동재귀적으로 모델링하여 장거리 순차적 패턴을 학습한다.
• 시간 게이트 순환 구성 요소는 깊은 GCN 스택에서의 기울기 소실과 과도한 스무딩을 완화하기 위해 은닉 상태를 선택적으로 갱신한다.
• 정적 그래프 제약 구성 요소는 정적 엔티티 속성(예: 유형, 위치)을 통합하여 초기 엔티티 표현을 풍부하게 한다.
• 엔티티와 관계의 진화적 표현은 타임스탬프 간에 반복적으로 갱신되며, 점수 함수를 통해 미래의 사실 예측이 가능해진다.
• 엔티티 및 관계 예측 작업을 동시에 최적화하기 위해 시간 지식 그래프 시퀀스에서 엔드 투 엔드 학습을 수행한다.

실험 결과

연구 질문

• RQ1 통합된 모델이 시간 지식 그래프(TKG)에서 동시성 사실 간의 구조적 의존성과 시간적으로 인접한 사실 간의 순차적 패턴을 효과적으로 동시에 포착할 수 있는가?
• RQ2 엔티티 유형과 위치와 같은 정적 엔티티 성질을 통합할 경우 진화적 표현 학습이 시간 추론에서 어떻게 향상되는가?
• RQ3 시간 게이트 순환 구성 요소가 TKG에서 장기 역사적 시퀀스 모델링에 얼마나 기여하는가?
• RQ4 제안된 방법이 시간 추론 작업에서 기존 SOTA 기준 대비 뛰어난 성능과 효율성을 달성할 수 있는가?

주요 결과

• RE-GCN는 ICEWS18 데이터셋에서 SOTA 기준인 RE-NET 대비 엔티티 예측의 평균 역수 순위(MRR)에서 최대 11.46% 향상되었다.
• RE-NET 대비 엔티티 예측에서 최대 82배의 속도 향상을 보이며, 추론 효율성이著しく 향상되었다.
• 제거 실험 결과 시간 게이트 순환 구성 요소가 필수적임을 확인하였으며, 이를 제거할 경우 장기 시퀀스에서 성능이 급격히 악화되었다.
• 한정된 이웃 수와 관계 수가 증가할수록 성능 저하가 발생함을 확인하여 고복잡도 환경에서의 도전 과제를 시사하였다.
• 정적 그래프 제약과 공유된 초기 표현 덕분에 직접적인 역학적 상호작용이 없는 새로운 엔티티와 관계에 대해서도 모델이 잘 일반화됨을 확인하였다.
• 사례 연구를 통해 RE-GCN가 다단계 순차적 의존성과 타임스탬프 간의 구조적 영향을 성공적으로 학습함을 확인하였다.