[논문 리뷰] Scalable Link Prediction in Dynamic Networks via Non-Negative Matrix Factorization

Linhong Zhu, Guo, Dong외 3명|arXiv (Cornell University)|2014. 11. 13.

Complex Network Analysis Techniques참고 문헌 57인용 수 68

한 줄 요약

이 논문은 시간적 부드러움 제약 조건을 갖춘 비음수 행렬 분해(NMF)를 사용하여 동적 링크 예측을 위한 확장 가능한 시간적 잠재 공간 모델을 제안한다. 이는 대규모 동적 네트워크에서 효율적인 추론을 가능하게 하는 세 가지 최적화 알고리즘—전역, 국소, 및 증분 BCGD—을 도입하여 실세계 데이터셋에서 이전 방법들에 비해 확연히 뛰어난 확장성과 예측 정확도를 달성한다.

ABSTRACT

We propose a scalable temporal latent space model for link prediction in dynamic social networks, where the goal is to predict links over time based on a sequence of previous graph snapshots. The model assumes that each user lies in an unobserved latent space and interactions are more likely to form between similar users in the latent space representation. In addition, the model allows each user to gradually move its position in the latent space as the network structure evolves over time. We present a global optimization algorithm to effectively infer the temporal latent space, with a quadratic convergence rate. Two alternative optimization algorithms with local and incremental updates are also proposed, allowing the model to scale to larger networks without compromising prediction accuracy. Empirically, we demonstrate that our model, when evaluated on a number of real-world dynamic networks, significantly outperforms existing approaches for temporal link prediction in terms of both scalability and predictive power.

연구 동기 및 목표

• 네트워크 구조가 시간에 따라 변화하는 동적 소셜 네트워크에서 확장 가능하고 정확한 링크 예측의 과제를 해결한다.
• 사용자 행동과 관계의 점진적 변화를 반영하기 위해 저차원 잠재 공간에서 노드 위치의 시간적 진화를 모델링한다.
• 수백만 개의 노드와 엣지를 포함한 대규모 네트워크에 스케일링되면서도 높은 예측 성능를 유지하는 최적화 알고리즘을 개발한다.
• 갑작스러운 잠재 위치의 변화를 방지하기 위해 시간적 부드러움을 통합함으로써 일반화 능력 향상과 과거 정보 활용을 개선한다.
• 낮은 질량 NMF를 활용한 증분 및 병렬 처리 가능한 업데이트를 통해 효율적인 온라인 예측을 가능하게 한다.

제안 방법

• 링크 발생 확률이 시간에 따라 부드럽게 변화하는 저차원 잠재 공간 내에서 노드 간의 가까움에 의존하는 시간적 잠재 공간 모델을 수립한다.
• 시간에 따라 인접 행렬의 저랭크 표현을 학습하기 위해 비음수 행렬 분해(NMF)를 사용하며, 음수성과 희박성을 강제한다.
• 연속된 시간 단계 간의 노드 위치 변화를 정규화하는 시간적 부드러움 페널티를 도입하여 점진적인 전이를 선호한다.
• 세 가지 추론 알고리즘—최적 수렴을 위한 전역 BCGD, 계산량을 줄인 국소 BCGD, 실시간 확장성을 위한 증분 BCGD—을 제안한다.
• 이웃 관계를 공유하지 않는 노드에 대해 병렬 처리가 가능한 블록좌표 경사하강 업데이트를 설계하여 계산 효율성을 향상시킨다.
• 모델 정확도와 계산 비용의 균형을 맞추기 위해 차원 축소를 적용하며, 조정 가능한 잠재 공간 차원을 제공한다.

실험 결과

연구 질문

• RQ1 부드럽게 진화하는 시간적 잠재 공간 모델은 정적 모델에 비해 동적 네트워크에서 링크 예측 정확도를 향상시킬 수 있는가?
• RQ2 비음수 행렬 분해는 대규모 네트워크에서 확장 가능성을 유지하면서 시간 동적성을 어떻게 지원할 수 있는가?
• RQ3 전역, 국소, 증분 최적화 전략 중 어떤 것이 동적 링크 예측에서 예측 성능와 계산 효율성의 균형을 가장 잘 유지하는가?
• RQ4 잠재 위치에 시간적 부드러움을 강제하면 일반화 능력 향상과 현재 네트워크 스냅샷에 대한 과적합 감소에 어느 정도 기여하는가?
• RQ5 제안된 방법은 수백만 개의 노드와 엣지를 포함한 실세계 동적 네트워크에 스케일링되면서도 높은 예측 능력을 유지할 수 있는가?

주요 결과

• 제안된 모델은 실세계 동적 네트워크에서 기존 정적 및 동적 링크 예측 방법에 비해 예측 정확도 측면에서 뚜렷한 우월성을 보였다.
• 증분 BCGD 알고리즘은 높은 확장성을 달성하여 수백만 개의 노드와 엣지를 포함한 대규모 네트워크에서 효율적인 온라인 추론을 가능하게 했다.
• 시간적 부드러움 제약 조건은 현재 스냅샷에 대한 과적합을 줄이고 더 안정적이고 일반화 능력 있는 잠재 공간 표현을 이끌어냈다.
• 국소 및 증분 BCGD 변종은 전역 BCGD와 비슷한 예측 정확도를 유지하면서도 계산 비용을 크게 감소시켰다.
• 모델은 다양한 네트워크 구조에서 뛰어난 성능을 보이며 네트워크 크기와 밀도 증가에 따라 효과적으로 스케일링되었다.
• 저랭크 NMF와 차원 조절을 통한 사용은 모델 정확도와 계산 효율성 간의 조절 가능한 트레이드오프를 가능하게 했다.