[논문 리뷰] GTEA: Representation Learning for Temporal Interaction Graphs via Edge Aggregation.

Yiming Li, Da Sun Handason Tam외 6명|arXiv (Cornell University)|2020. 09. 11.

Advanced Graph Neural Networks참고 문헌 31인용 수 5

한 줄 요약

GTEA는 그래프 신경망(GNN)과 LSTM, 트랜스포머 등의 시계열 모델을 통합하여 시간적 상호작용 그래프에서 표현 학습을 위한 새로운 프레임워크를 제안한다. 이는 시계열 엣지 동역학과 위상적 관계를 모두 포착할 수 있으며, 네 개인 실세계 데이터셋에서 이진 노드 분류 과제에서 100.00% 정확도와 100.00% 매크로-F1을 기록하여 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

We consider the problem of representation learning for temporal interaction graphs where a network of entities with complex interactions over an extended period of time is modeled as a graph with a rich set of node and edge attributes. In particular, an edge between a node-pair within the graph corresponds to a multi-dimensional time-series. To fully capture and model the dynamics of the network, we propose GTEA, a framework of representation learning for temporal interaction graphs with per-edge time-based aggregation. Under GTEA, a Graph Neural Network (GNN) is integrated with a state-of-the-art sequence model, such as LSTM, Transformer and their time-aware variants. The sequence model generates edge embeddings to encode temporal interaction patterns between each pair of nodes, while the GNN-based backbone learns the topological dependencies and relationships among different nodes. GTEA also incorporates a sparsity-inducing self-attention mechanism to distinguish and focus on the more important neighbors of each node during the aggregation process. By capturing temporal interactive dynamics together with multi-dimensional node and edge attributes in a network, GTEA can learn fine-grained representations for a temporal interaction graph to enable or facilitate other downstream data analytic tasks. Experimental results show that GTEA outperforms state-of-the-art schemes including GraphSAGE, APPNP, and TGAT by delivering higher accuracy (100.00%, 98.51%, 98.05% ,79.90%) and macro-F1 score (100.00%, 98.51%, 96.68% ,79.90%) over four large-scale real-world datasets for binary/ multi-class node classification.

연구 동기 및 목표

• 풍부한 노드 및 엣지 속성을 지닌 동적 네트워크에서 복잡하고 다차원적인 시간적 상호작용을 모델링하는 데 도전하는 것.
• 시간에 따라 변화하는 관계를 포착하는 세밀하고 동적인 시간적 상호작용 그래프 표현을 학습하는 것.
• 위상적 구조와 시간적 상호작용 패턴을 동시에 모델링하여 노드 분류와 같은 후행 과제를 향상시키는 것.
• GNN의 메시지 전파 과정에서 영향력 있는 이웃을 우선시하기 위해 희소성 유도 자기주의 어텐션을 통합하는 것.

제안 방법

• GTEA는 GNN 기반 아키텍처에 시계열 모델(LSTM, 트랜스포머 등)을 통합하여 각 엣지의 시간적 시계열 데이터로부터 엣지 표현을 생성한다.
• 노드 쌍 간의 시간적 상호작용 패턴은 다차원 엣지 시간적 시계열에 대해 적용된 시계열 모델을 통해 인코딩된다.
• GNN 집합 과정에서 희소성 유도 자기주의 어텐션 메커니즘이 적용되어 각 노드의 가장 관련성이 높은 이웃에 집중한다.
• GNN을 통한 위상적 의존성과 시계열 모델링을 통한 시간적 동역학을 동시에 모델링하여 표현 학습을 향상시킨다.
• 시간적 집합을 통해 엣지 표현이 업데이트되어, 모델이 시간에 따라 변화하는 상호작용 패턴을 포착할 수 있다.
• 시간 인식 가능한 시계열 모델의 변형을 지원하여 시간적 그래프 동역학과 더 잘 일치하도록 한다.

실험 결과

연구 질문

• RQ1 통합 프레임워크는 동적 그래프에서 위상적 구조와 시간적 상호작용 동역학을 효과적으로 모델링할 수 있는가?
• RQ2 엣지 시간적 시계열에 대한 시계열 모델링을 통합함으로써 시간적 상호작용 그래프의 표현 학습이 어떻게 향상되는가?
• RQ3 희소성 유도 자기주의 어텐션 메커니즘이 시간적 GNN에서 노드 표현 학습에 얼마나 기여하는가?
• RQ4 노드 분류 과제에서 GraphSAGE, APPNP, TGAT 등의 최신 기술(SOTA) 방법과 비교해 GTEA는 어떻게 성능을 내는가?
• RQ5 다차원 엣지 속성과 시간적 시계열은 후행 과제 성능에 어떤 기여를 하는가?

주요 결과

• GTEA는 네 개인 실세계 데이터셋 중 한 곳에서 이진 노드 분류 과제에서 100.00% 정확도와 100.00% 매크로-F1을 달성한다.
• 두 번째 데이터셋에서는 98.51% 정확도와 98.51% 매크로-F1을 기록하여 모든 베이스라인을 능가한다.
• 세 번째 데이터셋에서는 98.05% 정확도와 96.68% 매크로-F1을 달성하여 다중 클래스 과제에서도 뛰어난 성능을 보였다.
• 네 번째 데이터셋에서는 79.90% 정확도와 79.90% 매크로-F1을 기록하여 여전히 기존 방법들을 능가한다.
• 제거 분석 결과, 시간적 모델링과 자기주의 어텐션 메커니즘 모두 성능 향상에 크게 기여하는 것으로 확인되었다.
• 시계열 모델과 GNN의 통합은 정적 모델이 놓치는 세밀한 시간적 상호작용 패턴을 포착할 수 있도록 한다.