[논문 리뷰] Recurrent Event Network for Reasoning over Temporal Knowledge Graphs.

Woojeong Jin, Changlin Zhang외 2명|arXiv (Cornell University)|2019. 04. 11.

Advanced Graph Neural Networks참고 문헌 24인용 수 32

한 줄 요약

이 논문은 동적 지식 그래프 내 시간적, 다중 관계적, 동시 상호작용을 재귀적 이벤트 인코더와 이웃 집합 기반 집약기로 모델링하는 새로운 신경망 아키텍처인 Recurrent Event Network (RE-Net)을 제안한다. RE-Net은 시간에 따른 장거리 의존성과 이벤트 시퀀스를 효과적으로 포착하여 네 개의 공개 TKG 데이터셋에서 다단계 시간적 링크 예측에서 최신 기준 성능을 달성한다.

ABSTRACT

Recently, there has been a surge of interest in learning representation of graph-structured data that are dynamically evolving. However, current dynamic graph learning methods lack a principled way in modeling temporal, multi-relational, and concurrent interactions between nodes---a limitation that is especially problematic for the task of temporal knowledge graph reasoning, where the goal is to predict unseen entity relationships (i.e., events) over time. Here we present Recurrent Event Network (RE-Net)---a novel neural architecture for modeling complex event sequences---which consists of a recurrent event encoder and a neighborhood aggregator. The event encoder employs an RNN to capture (subject, relation) or (object, relation)-specific patterns from historical, multi-relational interactions between entities. The neighborhood aggregator summarizes concurrent, multi-hop entity interactions within each time stamp. An output layer is designed for predicting forthcoming events. Extensive experiments on temporal link prediction over four public TKG datasets demonstrate the effectiveness and strength of RE-Net, especially on multi-step inference over future time stamps. Code and data are published at the https://github.com/INK-USC/RE-Net { ext{GitHub repository}}.

연구 동기 및 목표

• 동적 그래프 학습에서 시간적, 다중 관계적, 동시 상호작용을 체계적으로 모델링할 수 있는 방법의 부족을 해결하기 위해.
• 복잡한 이벤트 시퀀스를 포함한 변화하는 지식 그래프에서 다단계 시간적 링크 예측을 향상시키기 위해.
• 시간에 따라 (주어진, 관계) 및 (목적어, 관계)-특화된 상호작용 패턴을 포착하는 신경망 아키텍처를 설계하기 위해.
• 각 타임스탬프에서 동시적인 다단계 엔티티 상호작용을 요약하여 더 나은 시간적 추론을 가능하게 하기 위해.
• 시간 지식 그래프에서 알려지지 않은 미래 이벤트를 정확하게 예측할 수 있도록 하기 위해.

제안 방법

• 재귀적 이벤트 인코더는 RNN을 사용하여 엔티티 간 (주어진, 관계) 또는 (목적어, 관계)-특화된 이전 상호작용 패턴을 모델링한다.
• 이웃 집약기는 메시지 전파를 통해 각 타임스탬프에서 엔티티 간 동시적인 다단계 상호작용을 포착한다.
• 모델은 인코딩된 이벤트 표현과 집약된 이웃 정보를 조합하여 공동 추론을 수행한다.
• 출력 레이어는 융합된 시간적 및 관계적 표현을 활용하여 미래 이벤트를 예측한다.
• 링크 예측 목표를 기반으로 시간 지식 그래프 데이터를 엔드 투 엔드로 훈련한다.
• 숨은 상태를 타임스텝 간 유지함으로써 향후 타임스탬프에 대한 다단계 추론을 지원한다.

실험 결과

연구 질문

• RQ1 복잡하고 동시적이며 다중 관계적인 상호작용을 변화하는 지식 그래프에서 효과적으로 모델링할 수 있는 신경망 아키텍처가 존재하는가?
• RQ2 기존 방법과 비교해 RE-Net의 다단계 시간적 링크 예측 성능은 어떠한가?
• RQ3 재귀적 이벤트 인코더가 이벤트 시퀀스에서 장거리 의존성을 얼마나 잘 포착하는가?
• RQ4 이웃 집약기가 각 타임스텝에서 동시 엔티티 상호작용에 대한 추론을 어떻게 향상시키는가?
• RQ5 RNN 기반 시간 모델링과 이웃 집약의 통합이 미래 이벤트 예측 성능을 향상시키는가?

주요 결과

• RE-Net은 네 개의 공개 시간 지식 그래프 데이터셋에서 시간적 링크 예측에서 최신 기준 성능을 달성한다.
• 모델은 향후 타임스탬프에 대한 다단계 추론에서 뛰어난 성능을 보이며, 강력한 장거리 의존성 모델링 능력을 시사한다.
• 재귀적 이벤트 인코더는 시간에 따라 (주어진, 관계) 및 (목적어, 관계)-특화된 상호작용 패턴을 효과적으로 포착한다.
• 이웃 집약기는 각 타임스탬프에서 동시적인 다단계 엔티티 상호작용을 요약함으로써 추론 능력을 크게 향상시킨다.
• 제거 실험 결과, 재귀 인코더와 이웃 집약기가 모델의 전체 성능에 기여하는 데 의미 있는 기여를 한다는 것이 확인된다.
• 광범위한 실험을 통해 모델의 유효성이 검증되었으며, 강력한 베이스라인 대비 일관된 성능 향상이 나타났다.