[논문 리뷰] GC-LSTM: Graph Convolution Embedded LSTM for Dynamic Link Prediction

Jinyin Chen, Wang, Xueke외 1명|arXiv (Cornell University)|2018. 12. 11.

Complex Network Analysis Techniques참고 문헌 53인용 수 85

한 줄 요약

GC-LSTM은 그래프 컨볼루션을 LSTM에 내장하여 동적 네트워크 링크 예측을 위한 시공간 특징을 학습하고, 추가되거나 제거되거나 유지되는 링크를 예측합니다. 실제 데이터셋에서 최첨단 baselines보다 뛰어납니다.

ABSTRACT

Dynamic link prediction is a research hot in complex networks area, especially for its wide applications in biology, social network, economy and industry. Compared with static link prediction, dynamic one is much more difficult since network structure evolves over time. Currently most researches focus on static link prediction which cannot achieve expected performance in dynamic network. Aiming at low AUC, high Error Rate, add/remove link prediction difficulty, we propose GC-LSTM, a Graph Convolution Network (GC) embedded Long Short Term Memory network (LTSM), for end-to-end dynamic link prediction. To the best of our knowledge, it is the first time that GCN embedded LSTM is put forward for link prediction of dynamic networks. GCN in this new deep model is capable of node structure learning of network snapshot for each time slide, while LSTM is responsible for temporal feature learning for network snapshot. Besides, current dynamic link prediction method can only handle removed links, GC-LSTM can predict both added or removed link at the same time. Extensive experiments are carried out to testify its performance in aspects of prediction accuracy, Error Rate, add/remove link prediction and key link prediction. The results prove that GC-LSTM outperforms current state-of-art method.

연구 동기 및 목표

• 동적 네트워크 링크 예측(DNLP)와 그 광범위한 응용을 제시한다.
• DNLP를 위한 구조적 특성과 시간적 특성을 함께 학습하는 엔드-투-엔드 모델을 제안한다.
• 추가뿐 아니라 새로 생기거나 사라지는 링크를 모두 예측할 수 있게 한다.
• 다수의 실제 동적 네트워크에서 GC-LSTM을 기존 베이스라인과 비교 평가한다.

제안 방법

• 각 스냅샷을 인접 행렬로 표현하고 과거 인접 행렬의 시퀀스를 입력으로 사용한다.
• 숨은 상태와 셀 상태 모두에 GCN을 적용하여 LSTM에 그래프 컨볼루션을 내재화한다(각 LSTM 셀당 두 개의 GCN).
• GC-LSTM이 인코더 역할을 하는 두-part 인코더-디코더 프레임워크를 사용하고, 완전 연결 디코더가 숨겨진 상태를 링크 확률로 매핑한다.
• 정족수 다항식 기반의 그래프 컨볼루션(체비쇼프 다항식 기반)을 사용해 방향성 그래프의 스펙트럴 필터를 근사한다(K=3, 차수).
• 인접 행렬에 대한 L2 재구성 오차와 정규화 항을 결합한 손실로 모델을 학습하고 Adam으로 최적화한다.

실험 결과

연구 질문

• RQ1 DNLP를 위한 각 네트워크 스냅샷의 구조 정보를 시간적 변화와 어떻게 통합할 수 있는가?
• RQ2 그래프 컨볼루션 네트워크(GCN)를 LSTM 셀에 내재화하면 동적 네트워크의 추가 및 제거 링크 예측이 개선될 수 있는가?
• RQ3 그래프 컨볼루션 차수(K)가 예측 성능과 효율성에 미치는 영향은 무엇인가?
• RQ4 실제 데이터셋에서 GC-LSTM이 다중 지표에 대해 기존 DNLP 방법들과 어떻게 비교되는가?

주요 결과

• GC-LSTM은 동적 네트워크의 공간적 구조와 시간적 변화를 모두 효과적으로 학습한다.
• 모델은 추가, 제거 및 유지되는 링크를 예측하여 전체 동적 네트워크 진화를 예측할 수 있게 한다.
• 실험은 GC-LSTM이 여러 실제 데이터셋에서 표준 지표들로 최첨단 베이스라인보다 우수함을 보여준다.
• GC-LSTM은 K=3 체비쇼프 기반 그래프 컨볼루션을 사용하고 데이터셋에 따라 256–512 차원의 숨김 상태를 가지며, 성능과 효율의 균형을 이룬다.