[논문 리뷰] GCN-GAN: A Non-linear Temporal Link Prediction Model for Weighted Dynamic Networks

Kai Lei, Meng Qin외 3명|arXiv (Cornell University)|2019. 01. 26.

Complex Network Analysis Techniques참고 문헌 15인용 수 10

한 줄 요약

이 논문은 동적 네트워크에서 가중치가 부여된 링크를 예측하기 위해 그래프 컬러션 네트워크(GCN), 장기 숏터널 메모리(LSTM), 생성적 적대적 네트워크(GAN)를 결합한 딥러닝 모델인 GCN-GAN을 제안한다. 비선형적인 구조적 패턴과 시간적 패턴을 포착함으로써, 특히 희소성과 넓은 범위의 엣지 가중치를 처리하는 데 있어 기존 최고 성능(SOTA) 방법들을 뛰어넘는 성능을 보인다.

ABSTRACT

In this paper, we generally formulate the dynamics prediction problem of various network systems (e.g., the prediction of mobility, traffic and topology) as the temporal link prediction task. Different from conventional techniques of temporal link prediction that ignore the potential non-linear characteristics and the informative link weights in the dynamic network, we introduce a novel non-linear model GCN-GAN to tackle the challenging temporal link prediction task of weighted dynamic networks. The proposed model leverages the benefits of the graph convolutional network (GCN), long short-term memory (LSTM) as well as the generative adversarial network (GAN). Thus, the dynamics, topology structure and evolutionary patterns of weighted dynamic networks can be fully exploited to improve the temporal link prediction performance. Concretely, we first utilize GCN to explore the local topological characteristics of each single snapshot and then employ LSTM to characterize the evolving features of the dynamic networks. Moreover, GAN is used to enhance the ability of the model to generate the next weighted network snapshot, which can effectively tackle the sparsity and the wide-value-range problem of edge weights in real-life dynamic networks. To verify the model's effectiveness, we conduct extensive experiments on four datasets of different network systems and application scenarios. The experimental results demonstrate that our model achieves impressive results compared to the state-of-the-art competitors.

연구 동기 및 목표

• 동적 네트워크에서 비선형 역학과 링크 가중치를 忽시하는 기존의 시간적 링크 예측 방법의 한계를 해결한다.
• 희소성과 광범위하게 변동하는 엣지 가중치를 갖는 실세계의 가중치가 부여된 동적 네트워크에서 링크 존재 여부와 엣지 가중치를 동시에 예측하는 과제를 해결한다.
• 다양한 네트워크 시스템(예: 이동성, 교통, 구조)에 일반화할 수 있는 통합된 딥러닝 프레임워크를 개발하며, 동적 시스템의 동역학 예측을 시간적 링크 예측 과제로 재정의한다.
• 구조적 구조와 시간적 진화를 동시 모델링함으로써 미래 네트워크 스냅샷의 표현 학습과 생성 품질을 향상시킨다.

제안 방법

• 각 개별 네트워크 스냅샷에서 국소적인 구조적 특징을 추출하기 위해 GCN을 적용하여 현재 상태의 구조 패턴을 포착한다.
• 시간에 따른 네트워크 표현의 순차적 진화를 모델링하기 위해 LSTM을 사용하여 동적 네트워크 변화에서 장기적인 시간적 의존성을 학습한다.
• 생성자(generator)가 다음 시간 단계의 가중치가 부여된 네트워크 스냅샷을 생성하도록 GAN 프레임워크를 통합하며, 판별자(discriminator)는 실제 링크와 생성된 링크를 구분한다.
• 생성자를 적대적으로 훈련시켜 예측된 엣지 가중치의 현실성과 정확도를 향상시키며, 특히 희소성과 고다이나믹 레인지 가중치 분포에서 성능을 향상시킨다.
• GCN와 LSTM의 특징를 결합하여 생성자의 입력으로 사용함으로써, 구조적 및 시간적 동역학을 동시 모델링한다.
• 예측된 엣지 가중치의 정밀도를 확보하기 위해 적대적 손실에 더해 재구성 손실(MSE, KL-분산 등)을 사용하여 GAN을 최적화한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 가중치가 부여된 동적 네트워크에서 미래 링크의 존재 여부와 가중치를 효과적으로 예측할 수 있는가?
• RQ2 GCN-GAN과 같은 비선형 모델이 선형 모델에 비해 실세계의 엣지 가중치의 희소성과 넓은 값 범위 문제를 얼마나 잘 다룰 수 있는가?
• RQ3 GCN, LSTM, GAN을 통합함으로써 다양한 네트워크 시스템에서 시간적 링크 예측 성능이 얼마나 향상되는가?
• RQ4 GAN의 적대적 훈련 메커니즘이 특히 0 또는 저가중치 엣지 구분 능력을 향상시키는가?
• RQ5 GCN-GAN은 시간적 및 가중치 특성이 다양한 실세계 데이터셋 간에 얼마나 잘 일반화되는가?

주요 결과

• UCSB 데이터셋에서 GCN-GAN은 MSE가 0.3247로 가장 낮게 기록되었으며, LSTM 및 NMF를 포함한 모든 베이스라인을 뛰어넘었다.
• BJ-Taxi 데이터셋에서는 MSE가 1.3892로 두 번째로 낮았으며, 여전히 NMF 및 SVD와 같은 선형 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 모든 네 개의 데이터셋에서 엣지 단위 KL-분산과 일치하지 않는 비율(match rate)에서 최고 성능을 기록했으며, UCSB에서 일치하지 않는 비율은 0.0133, NumFabric에서는 3e-5였다.
• 시각적 분석 결과 GCN-GAN은 검은색으로 표시된 0가중치 엣지와 어두운 빨간색으로 표시된 저가중치 엣지를 효과적으로 구분하는 반면, LSTM은 이 구분을 유지하지 못했다.
• 데이터 센터 네트워크(NumFabric), 도시 이동성(BJ-Taxi), 캠퍼스 네트워크(UCSB, KAIST)를 포함한 다양한 네트워크 시스템에서 강력한 일반화 능력을 보였다.
• 적대적 훈련 메커니즘이 특히 희소성과 비균일한 가중치 분포를 다룰 때 높은 품질의 현실적인 가중치가 부여된 네트워크 스냅샷 생성 능력을 크게 향상시켰다.