[논문 리뷰] EvoNet: A Neural Network for Predicting the Evolution of Dynamic Graphs

Changmin Wu, Giannis Nikolentzos외 1명|arXiv (Cornell University)|2020. 03. 02.

Complex Network Analysis Techniques참고 문헌 36인용 수 5

한 줄 요약

EvoNet는 그래프 신경망(GNN), 순환 구조 및 그래프 생성 디코더를 조합하여 동적 그래프의 위상적 진화를 예측하는 새로운 신경망 프레임워크이다. 합성 및 실세계 데이터셋에서 전통적인 무작위 그래프 모델보다 뛰어난 성능을 보이며, 향후 그래프 구조 예측에서 높은 유사도(예: BTC-OTC에서 0.82)를 달성한다.

ABSTRACT

Neural networks for structured data like graphs have been studied extensively in recent years. To date, the bulk of research activity has focused mainly on static graphs. However, most real-world networks are dynamic since their topology tends to change over time. Predicting the evolution of dynamic graphs is a task of high significance in the area of graph mining. Despite its practical importance, the task has not been explored in depth so far, mainly due to its challenging nature. In this paper, we propose a model that predicts the evolution of dynamic graphs. Specifically, we use a graph neural network along with a recurrent architecture to capture the temporal evolution patterns of dynamic graphs. Then, we employ a generative model which predicts the topology of the graph at the next time step and constructs a graph instance that corresponds to that topology. We evaluate the proposed model on several artificial datasets following common network evolving dynamics, as well as on real-world datasets. Results demonstrate the effectiveness of the proposed model.

연구 동기 및 목표

• 실제로 진화하는 동적 그래프의 위상적 구조를 예측하는 데에 초점을 맞추며, 단순히 저차원 임bedding을 학습하는 것 외의 격차를 메우기 위해.
• 딥 러닝을 사용하여 동적 그래프의 시간적 진화 패턴을 통합적으로 모델링하는 프레임워크를 개발하기 위해.
• 과거 그래프 인스턴스 시퀀스로부터 향후 그래프 구조를 엔드 투 엔드로 예측할 수 있도록 하기 위해.
• 다양한 데이터셋에서 그래프 커널 기반 유사도 지표를 사용하여 모델 성능을 평가하기 위해.
• 학습된 동적 그래프 임베딩이 구조적 및 시간적 특징을 모두 효과적으로 포착할 수 있음을 입증하기 위해.

제안 방법

• 각 시퀀스 내 그래프를 저차원 구조적 임베딩으로 변환하기 위해 GNN을 인코더로 사용한다.
• 그래프 임베딩 간의 시간적 의존성을 모델링하고 다음 임베딩을 예측하기 위해 순환 신경망(RNN)을 활용한다.
• 예측된 임베딩를 입력으로 받아 다음 그래프의 인접 행렬을 생성하는 그래프 생성 모델(디코더)을 적용한다.
• 예측된 그래프와 진정한 그래프 간의 유사도 평가를 위해 Weisfeiler-Lehman 부분수 나무 커널을 활용한다.
• 그래프 커널 유사도 기반 복원 손실을 최소화하여 모델을 엔드 투 엔드로 훈련한다.
• 학습된 동적 그래프 임베딩의 의미 있는지를 검증하기 위해 주성분 분석(PCA)을 사용한다.

실험 결과

연구 질문

• RQ1 딥 러닝 프레임워크가 단순히 노드 또는 그래프 임베딩을 학습하는 것 외에도, 동적 그래프의 위상적 진화를 효과적으로 예측할 수 있는가?
• RQ2 GNN-RNN-그래프 생성 파이프라인은 전통적인 무작위 그래프 모델에 비해 복잡한 시간적 그래프 역학을 얼마나 잘 재구성할 수 있는가?
• RQ3 학습된 동적 그래프 임베딩이 순차적 그래프 데이터에서 구조적 및 시간적 패턴을 모두 포착하는가?
• RQ4 EvoNet은 복잡하고 비자명한 진화 패턴을 보이는 실세계 동적 그래프에서 어떤 성능을 보이는가?
• RQ5 모델이 특정한 그래프 구조(예: 사이클, 격자 등)를 포착하지 못하는 경우가 얼마나 발생하며, 그 이유는 무엇인가?

주요 결과

• EvoNet는 실세계 BTC-OTC 데이터셋에서 평균 그래프 유사도 0.82를 기록하며, 크로네커 그래프 모델과 같은 전통적 모델보다 뚜렷이 뛰어난 성능을 보였다.
• UCI-Message 데이터셋에서는 평균 유사도 0.71을 달성했으며, 이는 모든 베이스라인 방법을 초월한 성과였다.
• 합성 시퀀스에서 경로 및 사다리 그래프의 경우 그래프 크기의 진화를 정확히 예측했지만, 사이클 구조는 재구성하지 못했으며, 일반적으로 경로 유형의 그래프를 예측하는 경향을 보였다.
• PCA 시각화 결과, 학습된 동적 그래프 임베딩이 일관되고 순차적인 패턴(예: 선형 추세)을 형성하고 있음을 확인하여 시간적 의존성을 효과적으로 포착하고 있음을 확인했다.
• 모델의 성능은 다양한 실세계 데이터셋에서 일관되게 유지되었으며, 복잡하고 비자명한 그래프 진화 역학에 대한 강건성을 보였다.
• 일부 위상적 특징(예: 사이클)을 포착하지 못하는 한계가 있음에도 불구하고, EvoNet는 딥 러닝을 활용한 위상적 그래프 진화 예측에 강력한 베이스라인을 수립했다.