[논문 리뷰] On the Equivalence Between Temporal and Static Graph Representations for Observational Predictions

Jianfei Gao, Bruno Ribeiro|arXiv (Cornell University)|2021. 03. 12.

Epigenetics and DNA Methylation참고 문헌 59인용 수 10

한 줄 요약

이 논문은 시간적 그래프 표현 학습을 위한 새로운 '시간-그림자' 프레임워크를 제안한다. 여기서 노드 및 에지의 동적 변화는 먼저 순차적으로 인코딩된다(예: RNN 또는 Transformer를 통해), 그 후 정적 그래프 신경망에 입력된다. 이는 제한된 표현력의 GNN을 사용할 경우 기존의 시간-그림자 방식보다 뛰어난 표현력과 성능을 보이며, 실세계 과제에서 더 높은 효율성도 확보함을 이론적·실험적으로 입증한다.

ABSTRACT

This work formalizes the associational task of predicting node attribute evolution in temporal graphs from the perspective of learning equivariant representations. We show that node representations in temporal graphs can be cast into two distinct frameworks: (a) The most popular approach, which we denote as time-and-graph, where equivariant graph (e.g., GNN) and sequence (e.g., RNN) representations are intertwined to represent the temporal evolution of node attributes in the graph; and (b) an approach that we denote as time-then-graph, where the sequences describing the node and edge dynamics are represented first, then fed as node and edge attributes into a static equivariant graph representation that comes after. Interestingly, we show that time-then-graph representations have an expressivity advantage over time-and-graph representations when both use component GNNs that are not most-expressive (e.g., 1-Weisfeiler-Lehman GNNs). Moreover, while our goal is not necessarily to obtain state-of-the-art results, our experiments show that time-then-graph methods are capable of achieving better performance and efficiency than state-of-the-art time-and-graph methods in some real-world tasks, thereby showcasing that the time-then-graph framework is a worthy addition to the graph ML toolbox.

연구 동기 및 목표

• 시간-그림자 방식의 표현 학습을 통해 관찰 예측를 등변 표현 학습의 관점에서 정형화한다.
• 제한된 표현력의 GNN을 사용할 경우 기존의 시간-그림자 방식이 복잡한 시간적 동적 변화를 포착하는 데 한계를 가진다는 문제를 해결한다.
• 시간적 시퀀스 모델링과 정적 그래프 표현 학습을 분리하는 새로운 시간-그림자 프레임워크를 제안하고 분석한다.
• 시간-그림자 방식이 표현력과 효율성 측면에서 시간-그림자 아키텍처보다 이론적·실험적으로 우월함을 확립한다.

제안 방법

• 시간-그림자 프레임워크는 먼저 RNN, Transformer 등 순차적 모델을 사용해 노드 및 에지 속성의 시간적 변화를 모델링하여 시퀀스 표현을 생성한다.
• 이러한 시퀀스 표현은 정적 GNN의 입력 속성으로 사용되며, 이를 통해 전역적·등변 그래프 표현을 학습한다.
• 이 방법은 그래프 수준의 메시지 전파를 적용하기 전에 시간적 동적 변화를 입력 시퀀스로 간주함으로써 시간적 학습과 구조적 학습을 분리한다.
• 제한된 표현력 하에서 표현력을 분석하기 위해 1-Weisfeiler-Lehman (1-WL) GNN을 구성 요소로 활용한다.
• 프레임워크는 교통, 질병 전파, 코로나19 예측 과제를 포함한 합성 및 실세계 데이터셋에서 평가된다.
• 다양한 모델과 데이터셋에서 GNN 및 비-GNN 계산 시간을 측정하여 효율성을 분석한다.

실험 결과

연구 질문

• RQ1 1-WL GNN을 구성 요소로 사용할 경우, 시간-그림자 프레임워크가 시간-그림자 방식보다 이론적으로 표현력 우월성을 보이는가?
• RQ2 실세계 관찰 예측 과제에서 시간-그림자 모델이 최신의 시간-그림자 모델을 초월할 수 있는가?
• RQ3 다양한 시간적 그래프 구조에서 시간-그림자 방식의 효율성은 시간-그림자 기반 모델과 비교해 어떻게 되는가?
• RQ4 시간-그림자 프레임워크가 더 높은 성능과 계산 효율성을 달성하는 조건은 무엇인가?

주요 결과

• 1-WL GNN을 사용할 경우, 시간-그림자 표현 방식이 시간-그림자 방식보다 이론적으로 표현력 우월성을 보임을 입증했다.
• 합성 과제에서 시간-그림자 모델은 최신의 시간-그림자, TGAT, TGN 방법보다 예측 정확도에서 뛰어난 성능을 보였다.
• 실세계 응용에서 시간-그림자 방법은 훨씬 높은 학습 효율성과 함께 더 나은 또는 유사한 성능을 달성했다.
• GRU-GCN 변종은 대부분의 데이터셋에서 모든 모델 중에서 가장 빠른 학습 시간을 기록했으며, 이는 집계된 그래프에서 GNN 계산량이 감소했기 때문이다.
• Brain10과 같은 밀도 높은 그래프에서는 시간-그림자 방식의 효율성이 떨어졌는데, 이는 엣지 수가 많아서였다. 이는 성능이 그래프 구조에 따라 달라짐을 보여준다.
• 시간-그림자 방법은 시간적 엣지를 집계함으로써 GNN 계산 비용을 줄였지만, 엣지 수가 높게 유지될 경우 이러한 이점은 감소한다.