[논문 리뷰] Streaming Graph Neural Networks

Yao Ma, Ziyi Guo외 4명|arXiv (Cornell University)|2018. 10. 24.

Advanced Graph Neural Networks참고 문헌 32인용 수 23

한 줄 요약

이 논문은 동적 그래프의 시간적 동역학을 모델링하기 위해 간선 상호작용의 순서와 시간 간격을 포착하는 새로운 프레임워크인 동적 그래프 신경망(DGNN)을 제안한다. 노드 표현을 점진적으로 업데이트하고 영향을 받는 노드로 상호작용 정보를 전파함으로써, 실제 동적 그래프에서 링크 예측 및 노드 분류 성능을 크게 향상시킨다.

ABSTRACT

Graphs are essential representations of many real-world data such as social networks. Recent years have witnessed the increasing efforts made to extend the neural network models to graph-structured data. These methods, which are usually known as the graph neural networks, have been applied to advance many graphs related tasks such as reasoning dynamics of the physical system, graph classification, and node classification. Most of the existing graph neural network models have been designed for static graphs, while many real-world graphs are inherently dynamic. For example, social networks are naturally evolving as new users joining and new relations being created. Current graph neural network models cannot utilize the dynamic information in dynamic graphs. However, the dynamic information has been proven to enhance the performance of many graph analytic tasks such as community detection and link prediction. Hence, it is necessary to design dedicated graph neural networks for dynamic graphs. In this paper, we propose DGNN, a new {\bf D}ynamic {\bf G}raph {\bf N}eural {\bf N}etwork model, which can model the dynamic information as the graph evolving. In particular, the proposed framework can keep updating node information by capturing the sequential information of edges (interactions), the time intervals between edges and information propagation coherently. Experimental results on various dynamic graphs demonstrate the effectiveness of the proposed framework.

연구 동기 및 목표

• 기존 그래프 신경망이 동적 그래프를 정적 상태로 다루어 시간적 변화 패턴을 누락하는 한계를 해결한다.
• 노드 표현 학습을 향상시키기 위해 순차적 간선 상호작용과 그 간격을 포착하는 프레임워크를 개발한다.
• 새로운 간선이 도착함에 따라 노드 특징을 실시간으로 점진적으로 업데이트하여 정보 전파의 일관성을 유지한다.
• 영향을 받는 노드로의 시간 인식 전파가 링크 예측 및 노드 분류와 같은 동적 그래프 작업에서 성능을 향상시키는 방식을 조사한다.

제안 방법

• 간선 도착을 순차적으로 처리하는 동적 그래프 신경망(DGNN)을 도입하여, 상호작용 순서와 시간 간격에 기반해 노드 표현을 업데이트한다.
• 각 신규 간선의 시간적 맥락(같은 노드와의 마지막 상호작용 이후 경과한 시간 포함)을 통합하는 학습 가능한 업데이트 메커니즘을 사용한다.
• 영향력 강도와 시간 감쇠를 기반으로 이웃 노드로 상호작용 정보를 전파하는 시간 인식 전파 컴포넌트를 적용한다.
• 시간 창(τ로 제어됨) 내에 있는 노들만 업데이트된 정보를 수신하는 임계값 기반 전파 전략을 정의하여 오래된 상호작용으로 인한 노이즈를 줄인다.
• 업데이트 및 전파 컴포넌트를 통합된 프레임워크로 통합하여 온라인 학습과 점진적 추론을 지원한다.
• 메시지 전달 메커니즘을 시간적 그래프에 맞게 변형하여, 메시지가 특징뿐만 아니라 시간 차이(예: 시간 간격) 정보도 동반하도록 한다.

실험 결과

연구 질문

• RQ1 그래프 신경망은 어떻게 동적 그래프에서 간선 도착의 순서를 효과적으로 모델링할 수 있는가?
• RQ2 상호작용 간 간격이 노드 표현 학습과 정보 전파에 어떤 영향을 미치는가?
• RQ3 노후하거나 먼 상호작용으로 인한 노이즈를 최소화하면서 영향을 받는 노드로 상호작용 정보를 효율적으로 전파하는 방법은 무엇인가?
• RQ4 시간적 동역학을 통합할 경우 링크 예측 및 노드 분류와 같은 후행 작업에서 성능 향상 정도는 어느 정도인가?
• RQ5 재학습 없이도 실시간 그래프 변화를 처리할 수 있는 확장 가능한 점진적 프레임워크를 설계할 수 있는가?

주요 결과

• DGNN는 시간적 동역학을 모델링함으로써 실제 동적 그래프에서 링크 예측 및 노드 분류 성능을 크게 향상시킨다.
• MRR 성능은 τ가 50까지 증가함에 따라 향상되며, 이는 중간 수준의 영향을 받는 노드로 정보를 전파하면 학습에 도움이 된다는 것을 시사한다.
• τ > 50를 초과하면 성능이 정점에 도달하거나 약간 감소함으로써, 매우 오래되거나 먼 이웃으로 정보를 전파할 경우 노이즈가 유용한 정보보다 더 많이 포함됨을 시사한다.
• 시간 인식 업데이트 메커니즘은 전자상거래 그래프에서 사용자 최신 관심사와 같은 변화하는 노드 선호도를 효과적으로 포착한다.
• 전파 컴포넌트는 관련 이웃 노드로 상호작용 신호를 성공적으로 브로드캐스트하여 계산 비용을 과도하게 증가시키지 않으면서도 표현 품질을 향상시킨다.
• 프레임워크는 효율적인 점진적 업데이트를 지원하여 스트리밍 그래프에서 실시간 응용에 적합하다.