[논문 리뷰] Know-Evolve: Deep Reasoning in Temporal Knowledge Graphs.

Rakshit Trivedi, Hanjun Dai외 2명|arXiv (Cornell University)|2017. 05. 16.

Advanced Graph Neural Networks참고 문헌 15인용 수 6

한 줄 요약

이 논문은 시계열 지식 그래프를 모델링하기 위해 동적으로 비선형으로 변화하는 엔티티 임베딩을 학습하고, 이를 다변량 점과정(parameterize)하는 데 사용하는 딥러닝 프레임워크인 Know-Evolve를 제안한다. 이는 실제 데이터셋에서 향상된 추론 성능과 새로운 시계열 예측 기능을 달성한다.

ABSTRACT

Knowledge Graphs are important tools to model multi-relational data that serves as information pool for various applications. Traditionally, these graphs are considered to be static in nature. However, recent availability of large scale event-based interaction data has given rise to dynamically evolving knowledge graphs that contain temporal information for each edge. Reasoning over time in such graphs is not yet well understood. In this paper, we present a novel deep evolutionary knowledge network architecture to learn entity embeddings that can dynamically and non-linearly evolve over time. We further propose a multivariate point process framework to model the occurrence of a fact (edge) in continuous time. To facilitate temporal reasoning, the learned embeddings are used to compute relationship score that further parametrizes intensity function of the point process. We demonstrate improved performance over various existing relational learning models on two large scale real-world datasets. Further, our method effectively predicts occurrence or recurrence time of a fact which is novel compared to any prior reasoning approaches in multi-relational setting.

연구 동기 및 목표

• 시계열 엣지 정보를 포함한 동적으로 변화하는 지식 그래프에 대한 추론의 격차를 해결하기 위해.
• 다중관계 지식 그래프에서 사실(엣지)의 연속적인 시간 발생을 모델링하기 위해.
• 시간에 따라 비선형적으로 변화하는 엔티티 임베딩을 학습하는 방법을 개발하기 위해.
• 기존의 관계 학습 모델에서 제공되지 않는 바탕으로, 사실의 발생 및 재발 시간을 예측할 수 있도록 하기 위해.

제안 방법

• 시간에 따라 비선형적으로 변화하는 엔티티 임베딩을 학습하기 위해 딥 진화 지식 네트워크를 설계하였다.
• 연속 시간에서 사실의 확률적 발생을 모델링하기 위해 다변량 점과정 프레임워크를 사용하였다.
• 학습된 엔티티 임베딩을 사용하여 관계 점수를 계산하고, 이를 점과정의 강도 함수를 파arameterize하기 위해 활용하였다.
• 강도 함수는 변화하는 임베딩 기반의 미분 가능한 점수 함수를 사용하여 정의되었으며, 이는 엔드 투 엔드 학습을 가능하게 하였다.
• 관측된 사실 발생의 확률을 최대화하는 것에 기반한 가능도 기반 목적함수를 사용하여 모델을 엔드 투 엔드로 학습시켰다.
• 아키텍처는 시계열 추론과 미래 또는 재발하는 사실 이벤트의 예측을 모두 지원한다.

실험 결과

연구 질문

• RQ1 딥 네트워크는 시계열 지식 그래프에서 동적이고 비선형적으로 변화하는 엔티티 표현을 효과적으로 학습할 수 있는가?
• RQ2 모델은 연속 시간에서 사실 발생 또는 재발 시간을 얼마나 잘 예측할 수 있는가?
• RQ3 지식 그래프 추론에 시계열 역학을 통합할 경우, 정적 모델 대비 성능 향상이 이루어지는가?
• RQ4 복잡한 시계열 패턴을 포함한 대규모 실세계 데이터셋에 대해 모델은 일반화 가능한가?

주요 결과

• Know-Evolve는 두 개의 대규모 실세계 데이터셋에서 기존의 관계 학습 모델 대비 추론 성능에서 뛰어난 성능을 보였다.
• 기존 방법에서 지원되지 않는 바탕으로, 사실의 발생 및 재발 시간을 동시에 예측할 수 있는 새로운 기능을 제공하였다.
• 동적 임베딩과 점과정 모델링의 활용으로 시계열 사실 패턴의 모델링이 향상되었다.
• 실세계 시계열 지식 그래프 데이터에서 강력한 일반화 능력과 확장성(스케일러빌리티)을 입증하였다.