[논문 리뷰] DyLink2Vec: Effective Feature Representation for Link Prediction in Dynamic Networks

Mahmudur Rahman, Tanay Kumar Saha외 3명|arXiv (Cornell University)|2018. 04. 16.

Complex Network Analysis Techniques참고 문헌 23인용 수 29

한 줄 요약

DyLink2Vec는 동적 네트워크 내 노드 쌍 인스턴스에 대한 메트릭 임베딩 방법을 제안하며, 재구성 오차를 최소화하기 위해 경사 하강법을 사용하는 최적의 코딩 문제로 링크 예측을 모델링한다. 학습된 특징 표현을 통해 시간적 링크 패턴을 효과적으로 포착함으로써 실제 동적 네트워크에서 기존 방법들을 능가하는 링크 예측 성능을 달성한다.

ABSTRACT

The temporal dynamics of a complex system such as a social network or a communication network can be studied by understanding the patterns of link appearance and disappearance over time. A critical task along this understanding is to predict the link state of the network at a future time given a collection of link states at earlier time points. In existing literature, this task is known as link prediction in dynamic networks. Solving this task is more difficult than its counterpart in static networks because an effective feature representation of node-pair instances for the case of dynamic network is hard to obtain. To overcome this problem, we propose a novel method for metric embedding of node-pair instances of a dynamic network. The proposed method models the metric embedding task as an optimal coding problem where the objective is to minimize the reconstruction error, and it solves this optimization task using a gradient descent method. We validate the effectiveness of the learned feature representation by utilizing it for link prediction in various real-life dynamic networks. Specifically, we show that our proposed link prediction model, which uses the extracted feature representation for the training instances, outperforms several existing methods that use well-known link prediction features.

연구 동기 및 목표

• 시간적 링크 패턴이 핵심이지만 잘 활용되지 않는 동적 네트워크 내 노드 쌍 인스턴스에 대한 효과적인 특징 표현을 다루는 데 목적이 있다.
• 시간 순서 특성을 평탄화함으로써 시간 동적성을 忽시하거나 왜곡하는 정적 링크 예측 방법의 한계를 극복한다.
• 시간 순서를 유지하고 동적 네트워크 스냅샷에서 변화하는 구조적 신호를 포착하는 메트릭 임베딩 프레임워크를 개발한다.
• evolving 네트워크 내에서 구조적 및 시간적 패턴을 모두 캡처하는 저차원 표현을 학습함으로써 링크 예측 정확도를 향상시킨다.
• 다양한 시간 역학을 보이는 실제 동적 네트워크 데이터셋을 사용하여 제안된 방법이 기존 접근법보다 열등하지 않음을 입증한다.

제안 방법

• 다중 시간 스냅샷에서의 노드 쌍 표현 재구성 오차를 최소화하는 최적의 코딩 문제로 메트릭 임베딩 작업을 모델링한다.
• 경사 하강법을 사용하여 임베딩 공간을 최적화하고, 시간적 및 구조적 관계를 유지하는 연속적인 벡터 표현을 학습한다.
• 역사적 시간 윈도우를 사용하여 학습 인스턴스를 구성: $\widehat{E}$ (과거 링크) 및 $\overline{E}$ (미래 링크)를 사용해 시간 전이를 모델링한다.
• 시간에 따른 링크 출현 및 소멸 시퀀스를 인코딩하여 노드 쌍 임베딩을 학습함으로써 변화하는 네트워크 역학을 포착한다.
• 미래 시간 포인트에서 링크 예측을 위한 하류 분류 모델에 학습된 임베딩을 입력 특징으로 사용한다.
• 시간적 근접성에 있는 노드 쌍이 유사한 임베딩을 가지도록 유도하는 재구성 손실 함수를 적용하여 시간 순서를 유지한다.

실험 결과

연구 질문

• RQ1 메트릭 임베딩 접근법이 동적 네트워크의 시간 역학을 효과적으로 포착하여 링크 예측 성능을 향상시킬 수 있는가?
• RQ2 DyLink2Vec의 성능는 구조적 또는 시계열 특징에 의존하는 정적 및 시간적 링크 예측 방법과 비교해 어떻게 되는가?
• RQ3 역사적 시간 스냅샷 수를 변화시켰을 때 DyLink2Vec의 링크 예측 성능에 어떤 영향을 미치는가?
• RQ4 학습 데이터의 클래스 불균형이 DyLink2Vec의 링크 예측 작업 성능에 어떤 영향을 미치는가?
• RQ5 학습된 임베딩이 협업 및 소셜 네트워크와 같은 다양한 동적 네트워크 유형에 얼마나 일반화되는가?

주요 결과

• DyLink2Vec는 구조적 특징, 시계열 모델링, 딥 러닝, 텐서 분해 기반의 여러 최첨단 방법들을 능가하며 링크 예측 작업에서 뛰어난 성능을 보였다.
• 협업 네트워크에서는 DyLink2Vec가 NDGC_{50} 0.82와 PRAUC 0.89를 기록하여 경쟁 방법들을 크게 앞서갔다.
• 역사적 스냅샷 수가 증가할수록 성능이 향상되며, 협업 데이터셋에서는 8개 스냅샷에서 최고 성능에 도달한 후 최적화 복잡도로 인해 감소했다.
• Facebook1 데이터셋에서는 스냅샷 수가 증가할수록 성능이 계속 향상되어 먼 과거 링크도 예측에 유용한 정보를 제공함을 시사했다.
• 클래스 불균형은 성능에 악영향을 미치며, 음성 샘플 비율이 1:1을 초과할수록 PRAUC 및 NDGC_{50}가 감소함을 확인하여 음성 쌍의 언더샘플링 전략이 유리함을 지지했다.
• Enron, Facebook2, 더 어려운 Facebook1 네트워크를 포함한 다양한 동적 네트워크에서 강건성과 일반화 능력을 입증하였으며, 기준 모델 대비 상당한 성능 향상을 보였다.