[논문 리뷰] Temporal Graph Networks for Deep Learning on Dynamic Graphs

Emanuele Rossi, Ben Chamberlain외 4명|arXiv (Cornell University)|2020. 06. 18.

Advanced Graph Neural Networks참고 문헌 82인용 수 95

한 줄 요약

Temporal Graph Networks (TGNs)은 시계열 이벤트의 시퀀스로 표현된 연속 시간 동적 그래프에서 학습하기 위한 일반적이고 메모리 강화된 프레임워크를 제공하며, 효율적인 학습으로 최첨단 결과를 달성합니다.

ABSTRACT

Graph Neural Networks (GNNs) have recently become increasingly popular due to their ability to learn complex systems of relations or interactions arising in a broad spectrum of problems ranging from biology and particle physics to social networks and recommendation systems. Despite the plethora of different models for deep learning on graphs, few approaches have been proposed thus far for dealing with graphs that present some sort of dynamic nature (e.g. evolving features or connectivity over time). In this paper, we present Temporal Graph Networks (TGNs), a generic, efficient framework for deep learning on dynamic graphs represented as sequences of timed events. Thanks to a novel combination of memory modules and graph-based operators, TGNs are able to significantly outperform previous approaches being at the same time more computationally efficient. We furthermore show that several previous models for learning on dynamic graphs can be cast as specific instances of our framework. We perform a detailed ablation study of different components of our framework and devise the best configuration that achieves state-of-the-art performance on several transductive and inductive prediction tasks for dynamic graphs.

연구 동기 및 목표

• 상호작용이 이산적인 스냅샷이 아니라 연속 시간에 걸쳐 발생하는 동적 그래프에서 학습의 필요성을 제시한다.
• 연속 시간 동적 그래프를 위한 다목적 인코더로 Temporal Graph Networks (TGNs)를 소개한다.
• 동적 상호작용에서 장기 히스토리를 포착하기 위한 노드별 메모리 기반 표현을 가능하게 한다.
• 정보 누출 없이 메모리 관련 모듈을 통해 그래디언트를 전파하는 효율적인 학습 전략을 개발한다.
• 계통적 및 귀납적 작업에서 최첨단 성능을 입증하고 계산 효율성을 향상시킨다.

제안 방법

• 연속 시간 동적 그래프를 시간 스탬프가 찍힌 이벤트의 시퀀스(노드별 이벤트와 상호작용 이벤트)로 정의한다.
• 이벤트 간의 히스토리를 포착하기 위해 노드별 상태를 저장하는 메모리 모듈을 도입한다.
• 이벤트로부터 메시지를 메시지 함수로 계산하고, 이를 집계한 뒤 메모리 업데이트기로 각 노드의 메모리를 업데이트한다.
• 메모리와 이웃 정보를 바탕으로 최신 노드 임베딩을 생성하기 위한 임베딩 모듈을 제공한다(옵션으로 아이덴티티, 시간 투영, 시계열 그래프 어텐션, 시계열 그래프 합이 있다).
• 선택된 홉 수까지의 이웃 정보를 시간 인코딩과 함께 통합하여 메모리 구식화를 완화하는 임베딩 전략을 구현한다.
• 배치를 처리하는 동안 정보 누출을 피하기 위해 원시 메시지를 저장하는 학습 체계를 채택하고, 메모리 관련 모듈을 통한 그래디언트 흐름을 가능하게 한다.
• Wikipedia, Reddit, Twitter 데이터셋에서 CTDNE, Jodie, DyRep, TGAT 및 정적 기초 모델과 비교하여 엣지 예측(트랜스덕티브 및 인덕티브) 및 동적 노드 분류에 대해 TGNs를 평가한다.

실험 결과

연구 질문

• RQ1 메모리 증강형 이벤트 기반 인코더가 기존의 연속 시간 동적 그래프 모델보다 트랜스덕티브 및 인덕티브 작업에서 더 우수한가?
• RQ2 그래프 기반 임베딩과 시간 이웃 정보를 도입하면 더 최신의 노드 표현을 얻고 예측 성능이 향상되는가?
• RQ3 메모리 설계(존재 여부, 집계 전략)가 정확도와 학습 효율성에 어떤 영향을 미치는가?
• RQ4 동적 그래프 학습 시 모델 복잡도(레이어 수, 어텐션 메커니즘)와 속도 사이에 어떤 트레이드오프가 존재하는가?

주요 결과

• TGNs은 엣지 예측 및 노드 분류의 다수의 동적 그래프 작업 및 데이터 세트에서 최첨단 결과를 달성한다.
• 메모리를 가진 모델은 메모리 없는 변형보다 성능이 우수하며, 장기 노드 히스토리 저장의 중요성을 보여준다.
• 그래프 기반 임베딩 모듈(특히 시계열 그래프 어텐션)은 메모리 전용 또는 그래프 없는 변형보다 성능을 크게 향상시킨다.
• 메모리 활성화 TGNs는 TGAT에 비해 학당당 최대 30배 빨라지면서도 경쟁력 있거나 우수한 정확도를 유지한다.
• 메모리 접근이 넓은 시계열 맥락을 제공하기 때문에 강력한 성능을 위해 단일 그래프 어텐션 계층의 메모리만으로도 충분하다.