[논문 리뷰] Graph Hawkes Neural Network for Forecasting on Temporal Knowledge Graphs

Zhen Han, Yunpu Ma외 3명|arXiv (Cornell University)|2020. 03. 30.

Point processes and geometric inequalities인용 수 13

한 줄 요약

이 논문은 시간적 동적 변화를 대규모 시간 지식 그래프(tKGs)에서 모델링하기 위해 신경 하크스 프로세스를 확장한 새로운 딥러닝 모델인 그래프 하크스 신경망(GHNN)을 제안한다. 각 사실(s,p,o,t)을 타임스탬프가 부여된 이벤트로 간주함으로써, GHNN은 연속 시간 순환 구조를 사용하여 변화하는 그래프 링크 간의 복잡한 자기 자극 및 억제 효과를 포착한다. 이는 ICEWS14 및 GDELT 데이터셋에서 링크 예측과 시간 예측 작업에서 최고 성능을 달성한다.

ABSTRACT

The Hawkes process has become a standard method for modeling self-exciting event sequences with different event types. A recent work has generalized the Hawkes process to a neurally self-modulating multivariate point process, which enables the capturing of more complex and realistic impacts of past events on future events. However, this approach is limited by the number of possible event types, making it impossible to model the dynamics of evolving graph sequences, where each possible link between two nodes can be considered as an event type. The number of event types increases even further when links are directional and labeled. To address this issue, we propose the Graph Hawkes Neural Network that can capture the dynamics of evolving graph sequences and can predict the occurrence of a fact in a future time instance. Extensive experiments on large-scale temporal multi-relational databases, such as temporal knowledge graphs, demonstrate the effectiveness of our approach.

연구 동기 및 목표

• 고차원 이벤트 유형을 가진 다수의 관계를 가진 변화하는 다중 관계 그래프 시퀀스에서 복잡한 시간적 동적 변화를 포착하는 데에 기존 모델의 한계를 해결하기 위해.
• 각 방향성 있는 레이블이 부여된 간선이 별개의 이벤트 유형을 나타내는 대규모 시간 지식 그래프(tKGs)에서 이벤트 간 상호 영향을 모델링하기 위해.
• 미래의 사실 발생과 정확한 타임스탬프를 동시에 예측할 수 있는 연속 시간 예측 프레임워크를 개발하여 이산 시간 근사치를 초월하기 위해.
• 시간 예측 성능 평가를 더 잘 반영하기 위해 연속형 Hits@k(cHits@k)라는 원칙적인 평가 지표를 도입하기 위해.
• 실제 시간 지식 그래프(tKGs)에서 기존 최고 성능 모델들을 초월하는 성능을 보여주며 링크 예측 및 시간 예측 과제에서의 우수성을 입증하기 위해.

제안 방법

• 시간 지식 그래프 내 이벤트 간 자기 자극 및 억제 효과를 포착하는 다변량 포인트 프로세스 모델로 그래프 하크스 프로세스를 제안한다.
• 각 사실(s, p, o, t)을 연속 시간 포인트 프로세스 내 별개의 이벤트 유형으로 모델링하여 미래 타임스탬프의 임의 예측을 가능하게 한다.
• 하크스 프로세스의 강도 함수를 매개변수화하기 위해 연속 시간 순환 신경망(RNN)을 사용하여 동적이고 맥락 인식 가능한 영향 모델링을 가능하게 한다.
• 엔티티 및 관계 임베딩을 사용해 노드와 간선을 표현하며, 이전 이벤트의 유형과 시간적 근접도에 따라 영향력을 가중하기 위해 어텐션 메커니즘을 활용한다.
• 엔드 투 엔드 훈련을 위해 미분 가능한 우도 함수를 활용하여 링크 예측 및 시간 예측을 최대 우도 추정 기반으로 최적화한다.
• 예측 정확도를 시간 예측에서 더 잘 반영하기 위해 연속형 Hits@k(cHits@k)라는 새로운 평가 지표를 도입하며, 이는 평균 절대 오차(MAE)가 임계값 k 이하인 예측의 비율로 정의된다.

실험 결과

연구 질문

• RQ1 고차원 이벤트 유형을 가진 대규모로 변화하는 시간 지식 그래프를 효과적으로 모델링하기 위해 신경 하크스 프로세스를 확장할 수 있는가?
• RQ2 다중 관계성, 방향성, 레이블이 부여된 그래프 링크 간의 시간 의존성을 연속 시간 프레임워크 내에서 어떻게 포착할 수 있는가?
• RQ3 시간에 따라 변화하는 강도 함수로 이벤트 강도를 모델링하는 것이 이산 시간 또는 임베딩 전용 접근 방식보다 예측 정확도를 향상시키는가?
• RQ4 제안된 모델이 실제 시간 지식 그래프(tKGs)에서 기존 최고 성능 모델들을 초월하여 링크 예측 및 시간 예측 과제에서 모두 뛰어난 성능을 보일 수 있는가?
• RQ5 제안된 연속형 Hits@k 지표가 기존의 MAE보다 시간 예측 과제에서 모델 성능을 더 잘 반영하는가?

주요 결과

• GHNN은 ICEWS14 데이터셋에서 링크 예측에서 최고 성능을 기록하여 MRR 28.71% 및 Hits@10 46.47%를 달성하였으며, RE-Net(28.56% MRR) 및 모든 기준 모델을 능가한다.
• GDELT 데이터셋에서는 MRR 23.55% 및 Hits@10 38.92%를 기록하여 RE-Net 및 Know-Evolve를 포함한 모든 비교 모델을 압도한다.
• 시간 예측에서는 ICEWS14에서 MAE 6.10일, GDELT에서 7.18시간을 기록하여 LiTSEE(각각 108.00일 및 303.78시간)를 크게 능가한다.
• ICEWS14에서 cHits@1은 68.73%, GDELT에서는 58.79%를 기록하여 작은 오차 범위 내에서 타임스탬프를 정확히 예측하는 데 강력한 성능을 보였다.
• RE-Net 및 Know-Evolve에 비해 성능 향상은 연속 시간 강도 함수의 명시적 모델링과 동적 영향 전파를 통해 달성되었다.
• 제거 실험을 통해 연속 시간 설정과 어텐션 기반 영향 가중치 적용이 tKGs 내 복잡한 시간 동적 변화를 포착하는 데 핵심적임을 확인하였다.