[논문 리뷰] Dynamic Graph Neural Networks

Yao Ma, Ziyi Guo외 4명|arXiv (Cornell University)|2018. 10. 24.

Advanced Graph Neural Networks참고 문헌 20인용 수 9

한 줄 요약

이 논문은 동적 그래프 구조를 순차적 엣지 업데이트, 시간 간격 및 일관된 정보 전파를 포착함으로써 변화하는 그래프 구조를 모델링하는 새로운 프레임워크인 동적 그래프 신경망(DGNN)을 제안한다. 동적 그래프에서의 실험 결과, DGNN는 시간적 동역학을 활용하여 노드 분류 및 링크 예측 작업에서 성능을 크게 향상시킨다.

ABSTRACT

Graphs, which describe pairwise relations between objects, are essential representations of many real-world data such as social networks. In recent years, graph neural networks, which extend the neural network models to graph data, have attracted increasing attention. Graph neural networks have been applied to advance many different graph related tasks such as reasoning dynamics of the physical system, graph classification, and node classification. Most of the existing graph neural network models have been designed for static graphs, while many real-world graphs are inherently dynamic. For example, social networks are naturally evolving as new users joining and new relations being created. Current graph neural network models cannot utilize the dynamic information in dynamic graphs. However, the dynamic information has been proven to enhance the performance of many graph analytical tasks such as community detection and link prediction. Hence, it is necessary to design dedicated graph neural networks for dynamic graphs. In this paper, we propose DGNN, a new {\bf D}ynamic {\bf G}raph {\bf N}eural {\bf N}etwork model, which can model the dynamic information as the graph evolving. In particular, the proposed framework can keep updating node information by capturing the sequential information of edges, the time intervals between edges and information propagation coherently. Experimental results on various dynamic graphs demonstrate the effectiveness of the proposed framework.

연구 동기 및 목표

• 기존 그래프 신경망이 동적이고 변화하는 그래프를 다루는 데에 한계가 있음을 해결하기 위해.
• 그래프 진화 과정에서 순차적 엣지 업데이트와 시간 간격을 포착하는 프레임워크를 설계하기 위해.
• 동적 그래프에서 시간 단계 간 일관된 정보 전파를 가능하게 하기 위해.
• 노드 분류 및 링크 예측과 같은 동적 그래프 작업에서 성능 향상을 위해.
• 시간적 동역학을 그래프 표현 학습에 통합할 경우의 효과를 입증하기 위해.

제안 방법

• DGNN는 엣지를 시간 순서로 처리함으로써 그래프 진화를 모델링하고 순차적 동역학을 포착한다.
• 연속적인 엣지 이벤트 간의 시간 간격을 포함하여 시간적 종속성을 인코딩한다.
• 노드 표현을 시간에 따라 업데이트하기 위해 게이팅 순환 단위(GRU)-유사 메커니즘을 사용한다.
• 노드 은닉 상태는 들어오는 엣지 메시지와 시간적 맥락에 기반하여 업데이트된다.
• 시간적 메시지 전달 메커니즘을 사용하여 시간 단계 간 정보 전파를 일관되게 유지한다.
• 모델은 그래프의 구조적 변화와 시간적 변화를 반영하는 동적 노드 임베딩을 학습한다.

실험 결과

연구 질문

• RQ1 실세계 그래프의 동적 진화를 효과적으로 모델링하기 위해 그래프 신경망은 어떻게 해야 할까?
• RQ2 시간 간격과 같은 시간 정보는 그래프 표현 학습 향상에 어떤 역할을 하는가?
• RQ3 통합된 프레임워크가 순차적 엣지 업데이트와 시간적 동역학을 모두 포착하여 성능 향상을 이끌 수 있는가?
• RQ4 동적 정보를 통합할 경우 노드 분류 및 링크 예측 정확도에 어떤 영향을 미치는가?
• RQ5 동적 그래프 학습에서 시간적 구조와 정적 그래프 구조 중 어느 것이 더 중요한 기여를 하는가?

주요 결과

• DGNN는 동적 그래프에서의 노드 분류 작업에서 정적 GNN 및 기존의 동적 그래프 모델보다 뛰어난 성능을 보였다.
• 엣지 간 시간 간격을 포함시킴으로써 링크 예측 작업의 성능 향상이 뚜렷하게 향상되었다.
• DGNN의 시간적 메시지 전달 메커니즘은 변화하는 그래프 구조 간에 일관된 정보 전파를 가능하게 하였다.
• 모델은 순차적 엣지 패턴을 효과적으로 포착하여 더 정확한 동적 그래프 표현을 도출하였다.
• 다양한 동적 그래프 벤치마크에서의 실증 결과는 DGNN가 그래프 진화를 모델링하는 데 효과적임을 확인하였다.
• DGNN는 여러 동적 그래프 학습 벤치마크에서 최고 성능(SOTA)을 달성하였다.