[논문 리뷰] Graph Hawkes Network for Reasoning on Temporal Knowledge Graphs

Zhen Han, Yuyi Wang외 3명|arXiv (Cornell University)|2019. 12. 14.

Diffusion and Search Dynamics인용 수 13

한 줄 요약

이 논문은 그래프 허크스 네트워크(GHN)를 제안한다. GHN은 각 방향성 있는 레이블이 부여된 간선을 이벤트 유형으로 간주함으로써 동적으로 변화하는 시간 지능 그래프를 모델링하기 위해 하크스 프로세스를 확장한 신경점과정 모델이다. 그래프 어텐션과 신경 자기조절 기법을 활용하여 대규모 시간관계 데이터에서 복잡한 장거리 의존성을 효율적으로 포착하며, 시간 지능 그래프 추론 작업에서 이전 방법들을 능가한다.

ABSTRACT

The Hawkes process has become a standard method for modeling self-exciting event sequences with different event types. A recent work generalizing the Hawkes process to a neurally self-modulating multivariate point process enables the capturing of more complex and realistic influences of past events on the future. However, this approach is limited by the number of event types, making it impossible to model the dynamics of evolving graph sequences, where each possible link between two nodes can be considered as an event type. The problem becomes even more dramatic when links are directional and labeled, since, in this case, the number of event types scales with the number of nodes and link types. To address this issue, we propose the Graph Hawkes Network to capture the dynamics of evolving graph sequences. Extensive experiments on large-scale temporal relational databases, such as temporal knowledge graphs, demonstrate the effectiveness of our approach.

연구 동기 및 목표

• 수많은 이벤트 유형을 가진 대규모 시간 지능 그래프에 적용할 때 기존 하크스 프로세스 모델의 확장성 한계를 해결하기 위해.
• 각 방향성 있는 레이블이 부여된 간선이 별개의 이벤트 유형을 구성하는 동적 변화하는 그래프 시퀀스의 동역학을 모델링하기 위해.
• 신경 자기조절을 통해 복잡한 장거리 의존성을 포착함으로써 시간 지능 그래프에서 효과적인 추론을 가능하게 하기 위해.
• 다양한 이벤트 유형을 갖는 그래프 구조의 이벤트 시퀀스에 일반화된 확장성 있고 표현력 있는 프레임워크를 개발하기 위해.

제안 방법

• 그래프 허크스 네트워크는 시간 지능 그래프의 각 간선을 별개의 이벤트 유형으로 모델링하여, 수많은 이벤트 유형을 효율적으로 처리할 수 있도록 한다.
• 노드와 간선 표현을 인코딩하기 위해 그래프 신경망(GNN)을 사용하여 구조적이고 관계적 맥락을 포착한다.
• 신경 자기조절 메커니즘이 과거 이벤트에 기반해 향후 이벤트의 강도를 동적으로 조정함으로써 자기흥기와 상호흥기를 모델링한다.
• 과거 이벤트가 향후 예측에 미치는 영향을 가중하기 위해 어텐션 메커니즘을 활용하여 관련된 이력 상호작용에 집중할 수 있도록 한다.
• 강도 함수는 노드 특징, 간선 유형, 시간 동역학을 통합하는 깊은 신경망을 통해 매개변수화된다.
• 관측된 이벤트 시퀀스에 대해 음의 로그우도 손실을 사용하여 엔드 투 엔드로 학습된다.

실험 결과

연구 질문

• RQ1 신경점과정 모델이 이벤트 유형 수가 많은 시간 지능 그래프에 효과적으로 확장될 수 있는가?
• RQ2 모델은 변화하는 그래프 시퀀스에서 복잡한 장거리 의존성을 얼마나 잘 포착할 수 있는가?
• RQ3 그래프 구조와 어텐션을 통합할 경우 시간 지능 그래프에서의 추론 성능 향상 정도는 어떠한가?
• RQ4 제안된 모델은 기존 방법과 비교해 예측 정확도와 확장성 측면에서 어떻게 성과를 내는가?

주요 결과

• 그래프 허크스 네트워크는 대규모 시간 지능 그래프 추론 벤치마크에서 최고 성능을 기록했다.
• 모델은 변화하는 그래프 시퀀스에서 장거리 의존성을 효과적으로 포착하여 표준 하크스 프로세스 및 기타 베이스라인을 능가했다.
• 그래프 어텐션과 신경 자기조절을 통합함으로써 이러한 구성 요소가 없는 모델에 비해 예측 정확도가 크게 향상되었다.
• 대규모 노드와 레이블이 부여된 간선을 가진 그래프에 대해 효율적으로 확장되어 전통적인 다변량 하크스 프로세스의 한계를 극복했다.