[논문 리뷰] Recurrent Event Network : Global Structure Inference Over Temporal Knowledge Graph

Woojeong Jin, He Jiang외 5명|arXiv (Cornell University)|2019. 09. 25.

Advanced Graph Neural Networks참고 문헌 17인용 수 26

한 줄 요약

이 논문은 향후 다중관계 이벤트를 예측하기 위해 시간 지식 그래프에서 전역적이고 순차적인 구조 추론을 수행하는 새로운 자동회귀 모델인 반복적 사건 네트워크(RE-Net)를 제안한다. 반복적 사건 인코더와 이웃 집합기능을 조합하고 학습 시 교사 강제 기법을 사용함으로써, RE-Net은 시간적 및 구조적 의존성을 포착하여 다섯 개인 공개 데이터셋에서 다단계 향후 이벤트 예측 작업에서 뛰어난 성능을 달성한다.

ABSTRACT

Modeling dynamically-evolving, multi-relational graph data has received a surge of interests with the rapid growth of heterogeneous event data. However, predicting future events on such data requires global structure inference over time and the ability to integrate temporal and structural information, which are not yet well understood. We present Recurrent Event Network (RE-Net), a novel autoregressive architecture for modeling temporal sequences of multi-relational graphs (e.g., temporal knowledge graph), which can perform sequential, global structure inference over future time stamps to predict new events. RE-Net employs a recurrent event encoder to model the temporally conditioned joint probability distribution for the event sequences, and equips the event encoder with a neighborhood aggregator for modeling the concurrent events within a time window associated with each entity. We apply teacher forcing for model training over historical data, and infer graph sequences over future time stamps by sampling from the learned joint distribution in a sequential manner. We evaluate the proposed method via temporal link prediction on five public datasets. Extensive experiments demonstrate the strength of RE-Net, especially on multi-step inference over future time stamps. Code and data can be found at this https URL .

연구 동기 및 목표

• 동적으로 변화하는 다중관계 그래프 데이터에서 향후 이벤트를 예측하는 데 도전하는 것.
• 시간적 정보와 구조적 정보를 통합하여 향후 시간 타임스탬프에 대한 전역적 구조 추론을 가능하게 하는 것.
• 시간적 진전을 조건으로 삼아 이벤트 시퀀스의 공동 확률 분포를 모델링하는 것.
• 시간 창 내에서 동시 발생하는 이벤트를 포착함으로써 다단계 향후 이벤트 예측 성능을 향상시키는 것.
• 역사적 시퀀스에서 학습하고 미래 그래프 상태를 생성할 수 있는 확장 가능한 자동회귀 아키텍처를 개발하는 것.

제안 방법

• RE-Net은 이벤트 시퀀스의 시간에 따라 조건화된 공동 확률 분포를 모델링하기 위해 반복적 사건 인코더를 사용한다.
• 각 엔티티가 속한 시간 창 내에서 관련된 동시 발생 이벤트를 포착하기 위해 이웃 집합기가 이벤트 인코더에 통합된다.
• 학습 중에 역사적 데이터 시퀀스를 사용하여 학습을 안정화시키기 위해 교사 강제 기법이 적용된다.
• 학습된 공동 분포에서 순차적 샘플링을 통해 미래 그래프 시퀀스가 생성된다.
• 모델은 시간에 따라 이벤트 시퀀스를 자동회귀적으로 생성함으로써 향후 이벤트를 예측하기 위해 엔드 투 엔드로 훈련된다.
• 이 아키텍처는 동적 구조 변화를 겪는 다중관계 시간 지식 그래프 데이터를 지원한다.

실험 결과

연구 질문

• RQ1 반복 아키텍처는 시간 지식 그래프에서 이벤트 시퀀스의 공동 확률 분포를 효과적으로 모델링할 수 있는가?
• RQ2 모델은 다수의 향후 시간 단계에 걸쳐 전역적 구조 변화를 얼마나 잘 추론하는가?
• RQ3 이웃 집합 기능을 통합함으로써 동시 발생 이벤트 예측 성능이 향상되는가?
• RQ4 교사 강제 기법이 학습 안정성과 예측 정확도에 얼마나 기여하는가?
• RQ5 RE-Net은 기존 방법들과 비교해 다단계 시간 링크 예측에서 어떻게 성능을 내는가?

주요 결과

• RE-Net은 다섯 개인 공개 데이터셋에서 다단계 시간 링크 예측 작업에서 최신 기술 수준의 성능을 달성한다.
• 전역적 구조 추론 메커니즘 덕분에 장기 예측 성능이 뛰어나다.
• 이웃 집합 기능을 통합함으로써 시간 창 내 동시 발생 이벤트 예측 성능이 크게 향상된다.
• 교사 강제 기법은 학습을 더 안정적으로 만들고 미래 시퀀스 생성에 대한 일반화 성능을 향상시킨다.
• 자동회귀 설계 덕분에 높은 구조 일관성을 유지하면서 미래 그래프 상태를 효과적으로 순차적으로 생성할 수 있다.
• 특히 다수의 향후 시간 단계에 걸친 추론이 필요한 시나리오에서 RE-Net은 기존 방법들을 능가한다.