[논문 리뷰] Know-Evolve: Deep Temporal Reasoning for Dynamic Knowledge Graphs

Rakshit Trivedi, Hanjun Dai외 2명|arXiv (Cornell University)|2017. 05. 16.

Advanced Graph Neural Networks참고 문헌 26인용 수 107

한 줄 요약

Know-Evolve는 동적으로 진화하는 지식 그래프를 위한 깊은 진화 프레임워크를 제시하며, 사실 발생을 진화하는 엔터티 임베딩으로 조절되는 시간 포인트 프로세스로 모델링하고, 개방형 월드 추론으로 링크 및 시간 예측을 모두 가능하게 한다.

ABSTRACT

The availability of large scale event data with time stamps has given rise to dynamically evolving knowledge graphs that contain temporal information for each edge. Reasoning over time in such dynamic knowledge graphs is not yet well understood. To this end, we present Know-Evolve, a novel deep evolutionary knowledge network that learns non-linearly evolving entity representations over time. The occurrence of a fact (edge) is modeled as a multivariate point process whose intensity function is modulated by the score for that fact computed based on the learned entity embeddings. We demonstrate significantly improved performance over various relational learning approaches on two large scale real-world datasets. Further, our method effectively predicts occurrence or recurrence time of a fact which is novel compared to prior reasoning approaches in multi-relational setting.

연구 동기 및 목표

• temporally evolving 멀티-relational 지식 그래프에서 이벤트 타임스탬프에 따른 추론 동기를 부여합니다.
• 시간에 따라 비선형적으로 상호 진화하는 엔터티 표현을 학습하는 프레임워크를 개발합니다.
• Relational scores로 조절되는 다변량 시간 포인트 프로세스로 사실 발생을 모델링합니다.
• 사실이 발생할지 여부와 발생 시점을 모두 예측할 수 있도록 합니다.
• 개방형 월드 가정(Open World Assumption)과 보이지 않는 엔티티로의 일반화를 지원합니다.

제안 방법

• temporal knowledge graph를 (주체, 관계, 객체, 시간)의 4잡음으로 정의하되, 간선에 대한 재발생이 허용됩니다.
• 사실의 발생을 관계-조절 다차원 시간 포인트 프로세스로 모델링하고 강도는 lambda(t|history) = exp(g_r^{e_s,e_o}(t)) * (t - t_bar)이며, g_r^{e_s,e_o}은 쌍선형 관계 점수입니다.
• g_r^{e_s,e_o}(t) = v^{e_s}(t-)^T R_r v^{e_o}(t-), 강도를 동적으로 진화하는 엔터티 임베딩과 연결합니다.
• 주체와 객체 임베딩을 업데이트하는 새로운 깊은 순환 신경망을 도입하며, 시간 편차와 다중 관계 공간에서의 상호 진화를 포착하는 식(5)와 (6)을 통해 업데이트합니다.
• 관측된 이벤트에 대해 최대우도 추정으로 학습하되, 적분이 계산 불가능한 경우를 다루기 위해 순차 샘플링으로 근사한 순전 시간 생존 항을 사용합니다.
• 의존성을 시간 창으로 이동시키며 전역 BPTT 학습 절차를 활용합니다.

실험 결과

연구 질문

• RQ1 Know-Evolve가 엔터티 간의 다음 관계 발생과 그 발생 시간을 정확히 예측할 수 있는가?
• RQ2 시간에 따라 진화하는 엔터티 임베딩이 실제 세계의 시간적 KG에서 링크 예측 성능을 향상시키는가?
• RQ3 관계 점수와 함께 시간 포인트 프로세스를 도입하는 것이 정적 혹은 비-시간 모델과 비교하여 링크 및 시간 예측에 어떤 차이를 보이는가?
• RQ4 모델이 Open World Assumption과 보이지 않는 엔터티를 효과적으로 다룰 수 있는가?

주요 결과

• Know-Evolve는 두 개의 대규모 실제 세계 시간 KG 데이터셋에서 링크 예측에 대해 최첨단 관계 학습 기본 모델들을 능가합니다.
• 모형은 경쟁자들에 비해 예측 품질의 시간에 따른 안정적이고 더 낮은 분산을 제공합니다.
• Know-Evolve는 이벤트 시점 예측에서 다른 포인트 프로세스 기반 방법들을 능가하며 강력한 시간 예측 성능을 달성합니다.
• 메모리 사용량이 더 간단한 관계 모델과 비슷한 수준으로 확장 가능성이 있습니다.
• 시간 포인트 프로세스와 진화하는 임베딩의 조합이 다중 관계 데이터의 비선형 시간 역학을 더 잘 포착한다는 근거를 제공합니다.