[논문 리뷰] E-LSTM-D: A Deep Learning Framework for Dynamic Network Link Prediction

Jinyin Chen, Jian Zhang외 5명|arXiv (Cornell University)|2019. 02. 22.

Complex Network Analysis Techniques참고 문헌 35인용 수 27

한 줄 요약

이 논문은 동적 네트워크 링크를 예측하기 위해 스택형 장기 단기 기억(Long Short-Term Memory, LSTM) 네트워크를 활용한 인코더-디코더 아키텍처를 갖춘 새로운 엔드 투 엔드 딥러닝 프레임워크인 E-LSTM-D를 제안한다. 이는 시간적 의존성과 구조적 특징을 동시에 포착하여, AUC, GMAUC 및 오차율 지표에서 기존 방법들을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Predicting the potential relations between nodes in networks, known as link prediction, has long been a challenge in network science. However, most studies just focused on link prediction of static network, while real-world networks always evolve over time with the occurrence and vanishing of nodes and links. Dynamic network link prediction thus has been attracting more and more attention since it can better capture the evolution nature of networks, but still most algorithms fail to achieve satisfied prediction accuracy. Motivated by the excellent performance of Long Short-Term Memory (LSTM) in processing time series, in this paper, we propose a novel Encoder-LSTM-Decoder (E-LSTM-D) deep learning model to predict dynamic links end to end. It could handle long term prediction problems, and suits the networks of different scales with fine-tuned structure. To the best of our knowledge, it is the first time that LSTM, together with an encoder-decoder architecture, is applied to link prediction in dynamic networks. This new model is able to automatically learn structural and temporal features in a unified framework, which can predict the links that never appear in the network before. The extensive experiments show that our E-LSTM-D model significantly outperforms newly proposed dynamic network link prediction methods and obtain the state-of-the-art results.

연구 동기 및 목표

• 실세계 네트워크의 시간적 진화를 포착하는 데에 정적 네트워크 링크 예측 방법의 한계를 해결하기 위해.
• 동적 네트워크에서 구조적 특징과 시간적 특징을 동시에 모델링하는 엔드 투 엔드 딥러닝 프레임워크를 개발하기 위해.
• 아직 네트워크에 나타나지 않은 미래 링크의 예측 정확도를 향상시키기 위해.
• 고차원적이고 희박하며 비선형적인 네트워크 진화 패턴을 효과적으로 다루기 위해.
• 표현 학습 및 분류 단계를 별도로 필요로 하지 않는 통합 모델을 제공하기 위해.

제안 방법

• E-LSTM-D 모델은 시퀀스적 네트워크 스냅샷을 처리하기 위해 스택형 장기 단기 기억(Long Short-Term Memory, LSTM) 네트워크를 활용한 인코더-디코더 아키텍처를 채택한다.
• 인코더는 이전의 네트워크 스냅샷을 구조적 정보와 시간적 정보를 모두 포함한 컨텍스트 벡터로 압축한다.
• 디코더는 컨텍스트 벡터를 사용하여 미래 시간 단계의 네트워크를 재구성함으로써 엔드 투 엔드 링크 예측을 가능하게 한다.
• 과적합을 방지하고 수렴성 및 국소 구조 유지에 기여하기 위해 손실 함수에 벌점 계수 β를 적용한다.
• 재구성과 일반화 사이의 균형을 맞추기 위해 적응형 β를 사용하여 L2 거리 손실을 기반으로 엔드 투 엔드로 모델을 훈련시킨다.
• 모델은 위계적이고 저차원의 노드 표현을 자동으로 학습하여 위계적 구조적 동적 특징과 시간적 동적 특징을 모두 포함한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 딥러닝 모델이 동적 네트워크의 구조적 특징과 시간적 특징을 효과적으로 동시에 포착하여 링크 예측에 활용할 수 있는가?
• RQ2 스택형 LSTM을 활용한 인코더-디코더 아키텍처는 기존의 유사도 기반 또는 임베딩 기반 방법에 비해 동적 링크 예측에서 어떻게 성능을 냈는가?
• RQ3 역사적 스냅샷 길이와 벌점 계수 β와 같은 모델 하이퍼파라미터의 최적 설정은 무엇이며, 이는 안정적인 성능을 위한가?
• RQ4 학습된 잠재 표현이 노드 분류와 같은 후행 작업을 지원하는 데 얼마나 효과적인가?
• RQ5 예를 들어 인코더의 레이어 수와 유닛 수와 같은 모델 복잡도가 예측 정확도와 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• E-LSTM-D는 다양한 데이터셋에서 최신 기술 수준의 성능을 달성하여, AUC, GMAUC 및 오차율 지표에서 기존의 동적 네트워크 링크 예측 방법들을 능가한다.
• 역사적 스냅샷 수를 5개에서 25개로 늘일수록 성능 향상이 관찰되며, 최적의 성능은 N=10개 스냅샷에서 관찰되며 이후에는 성능 향상이 정체된다.
• 벌점 계수 β ∈ (1,2] 범위에서 일반화와 수렴성 간의 최적 균형을 이룹니다. AUC에는 미미한 영향을 주지만, GMAUC와 오차율 지표에서는 뚜렷한 향상이 관찰된다.
• 추가적인 인코더 레이어를 추가하면 GMAUC와 AUC에 약간의 성능 향상이 있지만 오차율은 감소하여 복잡도-성능 간의 상충 관계가 드러난다.
• 모델의 잠재 특징은 전반적인 네트워크 구조와 국소적 네트워크 구조를 효과적으로 포착하며, 다른 네트워크 분석 작업에 활용 가능성을 시사한다.
• 모델은 사회 네트워크(예: Facebook, Enron), 인용 네트워크(예: Radoslaw, LKML), 공동 저자 네트워크 등 다양한 네트워크 유형에 대해 뛰어난 강건성을 보였다.