[논문 리뷰] Recurrent Event Network: Autoregressive Structure Inference over Temporal Knowledge Graphs

Woojeong Jin, Meng Qu외 2명|arXiv (Cornell University)|2019. 04. 11.

Advanced Graph Neural Networks참고 문헌 44인용 수 36

한 줄 요약

RE-Net은 전역 이력과 로컬 이웃을 공동으로 모델링하여 미래의 다중 홉, 다관계 이벤트를 예측하는 시계열 지식 그래프용 자기회귀 모델입니다. 다단계 외삽을 경쟁력 있는 정확도로 가능하게 합니다.

ABSTRACT

Knowledge graph reasoning is a critical task in natural language processing. The task becomes more challenging on temporal knowledge graphs, where each fact is associated with a timestamp. Most existing methods focus on reasoning at past timestamps and they are not able to predict facts happening in the future. This paper proposes Recurrent Event Network (RE-NET), a novel autoregressive architecture for predicting future interactions. The occurrence of a fact (event) is modeled as a probability distribution conditioned on temporal sequences of past knowledge graphs. Specifically, our RE-NET employs a recurrent event encoder to encode past facts and uses a neighborhood aggregator to model the connection of facts at the same timestamp. Future facts can then be inferred in a sequential manner based on the two modules. We evaluate our proposed method via link prediction at future times on five public datasets. Through extensive experiments, we demonstrate the strength of RENET, especially on multi-step inference over future timestamps, and achieve state-of-the-art performance on all five datasets. Code and data can be found at https://github.com/INK-USC/RE-Net.

연구 동기 및 목표

• 타임스탬프를 가지는 사실들이 존재하고 미래 이벤트를 예측해야 하는 시계열 지식 그래프에서 외삽을 동기화한다.
• 과거 그래프 시퀀스를 조건으로 미래 이벤트의 공동 분포를 모델링하는 자기회귀 프레임워크를 제안한다.
• 시계열 의존성을 위한 순환 이벤트 인코더와 로컬 그래프 구조를 위한 이웃 집계기를 도입한다.
• 다섯 개의 공공 시계열 지식 그래프 데이터셋에서 다단계 미래 이벤트 예측에 대해 최첨단 성능을 시연한다.

제안 방법

• 미래 이벤트를 시간과 각 타임스탬프 내의 이벤트에 대해 자기회귀 인자분해로 p(Gt|Gt−m:t−1)로 표현한다.
• 과거 그래프로부터 전역 상태 Ht와 로컬 표현 ht(s) 및 ht(s,r)을 생성하기 위해 순환 이벤트 인코더를 사용한다.
• 주체와 관계 주변의 로컬 그래프 구조를 포착하기 위해 이웃 집계기(평균, 어텐션, 다관계 GCN)를 활용한다.
• 정적 임베딩과 동적 로컬/전역 특징을 소비하는 MLP 디코더를 통해 p(o t|s t,r t,Gt−m:t−1)와 p(r t|s t,Gt−m:t−1) 및 p(s t|Gt−m:t−1)를 정의한다.
• 예측 객체, 관계, 주체에 대한 교차 엔트로피 스타일 손실로 가중치 λ1, λ2를 선택적으로 사용하는 학습.
• 옵션으로 순차적인 중간 그래프 Gt+1:Δt−1를 표샘하고 집계하여 p(Gt+Δt|Gt)를 추정하며 다단계 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 RE-Net이 다단계 외삽에서 보이지 않는 미래 이벤트를 정확히 예측할 수 있는가?
• RQ2 전역 이력과 로컬 이웃 정보를 모두 도입하는 것이 베이스라인보다 미래 이벤트 예측을 개선하는가?
• RQ3 다른 이웃 집계기(평균, 어텐션, RGCN)가 다관계, 시계열로 진화하는 그래프의 예측 성능에 어떤 영향을 미치는가?
• RQ4 다단계 추론이 실제 미래 이벤트가 존재하지 않는 경우에도 경쟁력 있는 장기 예측을 가능하게 하는가?

주요 결과

방법	ICEWS18 MRR	ICEWS18 H@3	ICEWS18 H@10	GDELT MRR	GDELT H@3	GDELT H@10	ICEWS14 MRR	ICEWS14 H@3	ICEWS14 H@10	WIKI MRR	WIKI H@3	WIKI H@10	YAGO MRR	YAGO H@3	YAGO H@10
Static DistMult	22.16	26.00	42.18	18.71	20.05	32.55	19.06	22.00	36.41	46.12	49.81	51.38	59.47	60.91	65.26
R-GCN	23.19	25.34	36.48	23.31	24.94	34.36	26.31	30.43	45.34	37.57	39.66	41.90	41.30	44.44	52.68
ConvE	36.85	39.92	50.54	35.56	39.45	49.16	40.46	43.33	54.75	47.55	49.78	49.42	62.66	63.36	65.57
RotatE	23.10	27.61	38.72	22.33	23.89	32.29	29.56	32.92	42.68	48.67	49.74	49.88	64.09	64.67	66.16
Temporal TA-DistMult	28.53	31.57	44.96	29.35	31.56	41.39	20.78	22.80	35.26	48.09	49.51	51.70	61.72	63.32	65.19
HyTE	7.31	7.50	14.95	6.37	6.72	18.63	11.48	13.04	22.51	43.02	45.12	49.49	23.16	45.74	51.94
dyngraph2vecAE	1.52	1.99	2.02	4.53	1.87	1.87	10.83	12.70	15.02	5.30	5.27	5.45	0.93	0.84	0.95
tNodeEmbed	8.32	9.74	17.47	19.97	22.62	32.72	17.84	20.16	32.88	9.54	10.44	16.60	4.22	4.16	8.40
EvolveRGCN	16.59	18.32	34.01	15.55	19.23	31.54	17.01	18.97	32.58	46.49	47.83	49.23	59.74	61.03	61.69
Know-Evolve*	3.27	3.23	3.26	2.43	2.35	2.41	1.42	1.37	1.43	0.09	0.03	0.10	0	0.04	0
Know-Evolve+MLP	9.29	9.62	17.18	22.78	25.49	35.41	22.89	26.68	38.57	12.64	14.33	21.57	6.19	6.59	11.48
DyRep+MLP	9.86	10.66	18.66	23.94	27.88	36.58	24.61	28.87	39.34	11.60	12.74	21.65	5.87	6.54	11.98
R-GCRN+MLP	35.12	38.26	50.49	37.29	41.08	51.88	36.77	40.15	52.33	47.71	48.14	49.66	53.89	56.06	61.19
RE-Net w. mean agg.	40.70	43.27	53.65	38.35	42.13	52.52	43.79	47.34	57.47	51.13	51.37	53.01	65.10	65.24	67.34
RE-Net w. attn agg.	40.96	44.08	54.32	38.54	42.25	52.85	43.94	47.85	57.91	51.25	52.54	53.12	65.13	65.54	67.87
RE-Net	42.93	45.47	55.80	40.42	43.40	53.70	45.71	49.06	59.12	51.97	52.07	53.91	65.16	65.63	68.08

• RE-Net은 다섯 데이터셋에서 외삽 링크 예측에 대해 최첨단 성능을 달성한다.
• RE-Net을 이용한 다단계 추론은 멀리 있는 미래 타임스탬프에 대해 예측 정확도를 일관되게 향상시킨다.
• 다관계 그래프 집계(RGCN)와 어텐티브 이웃 풀링은 집계기 중에서 최고의 성능을 낸다.
• RE-Net은 정적 베이스라인 및 시계열 추론 모델보다 이벤트 기반 및 공공 KG에서 현저히 우수한 성능을 보인다.
• 절단 연구에서 이웃 집계기 제거나 다단계 추론 제거 시 성능이 저하되어 두 구성요소의 중요성을 시사한다.