[논문 리뷰] Dynamic Network Model from Partial Observations

Elahe Ghalebi, Baharan Mirzasoleiman외 2명|arXiv (Cornell University)|2018. 05. 27.

Complex Network Analysis Techniques참고 문헌 26인용 수 9

한 줄 요약

이 논문은 부분 관찰된 확산 캐스케이드 데이터(예: 노드 감염 시간)에서 시간에 따라 변화하는 네트워크 구조를 추론하기 위해 결합된 계층적 디리ش레트 프로세스의 혼합을 사용하는 비모수적 생성 동적 네트워크 모델인 Dyference를 제안한다. 이 방법은 온라인으로 변화하는 공동체 구조와 예측 가능한 간선 확률(관측되지 않았거나 향후 발생할 수 있는 간선 포함)을 추론할 수 있으며, 실제 및 합성 네트워크에서 동적 네트워크 추론, 확산 예측, 파산 예측 등에서 기존 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Can evolving networks be inferred and modeled without directly observing their nodes and edges? In many applications, the edges of a dynamic network might not be observed, but one can observe the dynamics of stochastic cascading processes (e.g., information diffusion, virus propagation) occurring over the unobserved network. While there have been efforts to infer networks based on such data, providing a generative probabilistic model that is able to identify the underlying time-varying network remains an open question. Here we consider the problem of inferring generative dynamic network models based on network cascade diffusion data. We propose a novel framework for providing a non-parametric dynamic network model--based on a mixture of coupled hierarchical Dirichlet processes-- based on data capturing cascade node infection times. Our approach allows us to infer the evolving community structure in networks and to obtain an explicit predictive distribution over the edges of the underlying network--including those that were not involved in transmission of any cascade, or are likely to appear in the future. We show the effectiveness of our approach using extensive experiments on synthetic as well as real-world networks.

연구 동기 및 목표

• 오직 부분 관찰된 확산 캐스케이드 데이터(예: 감염 시간)만 제공될 때 시간에 따라 변화하는 네트워크를 위한 생성 확률 모델을 구성하는 열린 문제를 해결하기 위해.
• 관측된 간선뿐만 아니라 관측되지 않은 또는 향후 발생할 수 있는 간선, 변화하는 공동체 구조까지 추론할 수 있는 프레임워크를 개발하기 위해.
• 네트워크 구조나 전파 속도에 대한 사전 지식이 없이도 시간에 따라 변화하는 간선 확률 추정치를 제공하기 위해.
• 네트워크 구조나 전파 속도에 대한 사전 지식 없이도 감염 시간 데이터만으로도 동적 네트워크에서 확산 캐스케이드와 영향력 있는 노드를 정확하게 예측하기 위해.

제안 방법

• 변화하는 공동체 구조를 가진 간선-교환 가능하고 비모수적인 동적 네트워크를 모델링하기 위해 결합된 계층적 디리슈레트 프로세스의 혼합(MDND)을 활용한다.
• 확산 캐스케이드 데이터를 시간 간격으로 처리하여 각 캐스케이드의 추론된 확산 트리에서 국소 간선 확률을 계산한다.
• 샘플링된 간선과 갱신된 간선 확률 분포를 기반으로 모델 변수를 반복적으로 갱신하기 위해 지브스 샘플러를 사용한다.
• 반복적인 추론 루프를 적용: 캐스케이드 데이터로부터 간선 확률 갱신 → 확산 트리 분포 재추정 → 모델 파라미터 개선 → 수렴할 때까지 반복.
• MDND를 초월해 잠재 표현 선택의 유연성을 보장하기 위해 임의의 생성 네트워크 모델로 확장 가능하다.
• 시간 창을 기반으로 데이터를 처리함으로써 온라인 추론을 지원하여 네트워크의 진화를 실시간으로 추적할 수 있다.

실험 결과

연구 질문

• RQ1 감염 시간과 같은 부분 관찰된 확산 캐스케이드 데이터만으로도 동적 네트워크를 위한 생성 확률 모델을 구성할 수 있는가?
• RQ2 그러한 모델이 관측된 간선뿐만 아니라 관측되지 않은 또는 향후 발생할 수 있는 간선과 변화하는 공동체 구조까지 추론할 수 있는가?
• RQ3 네트워크 구조에 대한 사전 지식이 없을 경우, 모델이 미래의 확산 캐스케이드와 영향력 있는 노드를 얼마나 정확하게 예측할 수 있는가?
• RQ4 실제 및 합성 네트워크에서 기존 방법과 비교해 예측 정확도와 계산 효율성 측면에서 모델 성능은 어떻게 되는가?

주요 결과

• Dyference는 시간에 따라 변화하는 하이퍼링크 및 소셜 미디어 네트워크에서 InfoPath와 NetRate보다 온라인 동적 네트워크 추론 성능이 뛰어나, 평가된 모든 데이터셋에서 높은 F1 스코어를 기록했다.
• 금융 거래 네트워크에서 Dyference는 파산 예측에서 InfoPath를 뛰어나게 성능을 높였으며, 2년 창에서 Map@k 및 Hits@k 지표가 향상되었다.
• Dyference는 InfoPath와 유사한 실행 시간을 기록했지만 예측 정확도에서 일관되게 뛰어나지 못했으며, 확장성과 효율성을 입증했다.
• 모델은 네트워크 구조를 알지 못한 상태에서 감염 시간만으로도 LinkedIn에서 영향력 있는 웹사이트를 성공적으로 예측했으며, 알려진 네트워크 구조를 사용한 결과와 유사한 성능을 보였다.
• 확산 예측 작업에서 Dyference는 네트워크 구조나 전파 속도에 대한 사전 지식 없이도 Map@k 및 Hits@k에서 뛰어난 성능을 기록했다.
• 이 프레임워크는 변화하는 공동체 구조를 정확하게 추적할 수 있으며, 관측된 캐스케이드에 포함되지 않은 간선을 포함한 모든 잠재적 간선에 대해 명시적인 예측 분포를 제공한다.