[논문 리뷰] Nonparametric Multi-group Membership Model for Dynamic Networks

Myunghwan Kim, Jure Leskovec|arXiv (Cornell University)|2013. 11. 08.

Complex Network Analysis Techniques참고 문헌 30인용 수 28

한 줄 요약

이 논문은 거리 의존성 인디안 빵집 프로세스와 팩터리얼 은닉 마르코프 모델을 사용하여 그룹 생성/소멸, 노드의 그룹 소속 동적 변화, 그리고 그룹 간 연결성을 동시에 모델링하는 비모수적 다중 그룹 소속 모델을 제안한다. 이 모델은 변화하는 그룹 구조와 시간적 동적 특성을 명시적으로 모델링함으로써 링크 예측 및 미래 네트워크 예측에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Relational data-like graphs, networks, and matrices-is often dynamic, where the relational structure evolves over time. A fundamental problem in the analysis of time-varying network data is to extract a summary of the common structure and the dynamics of the underlying relations between the entities. Here we build on the intuition that changes in the network structure are driven by the dynamics at the level of groups of nodes. We propose a nonparametric multi-group membership model for dynamic networks. Our model contains three main components: We model the birth and death of individual groups with respect to the dynamics of the network structure via a distance dependent Indian Buffet Process. We capture the evolution of individual node group memberships via a Factorial Hidden Markov model. And, we explain the dynamics of the network structure by explicitly modeling the connectivity structure of groups. We demonstrate our model's capability of identifying the dynamics of latent groups in a number of different types of network data. Experimental results show that our model provides improved predictive performance over existing dynamic network models on future network forecasting and missing link prediction.

연구 동기 및 목표

• 시간에 따라 변화하는 잠재적 그룹 소속을 포착함으로써 네트워크 구조의 동적 진화를 모델링하는 것.
• 기존 모델에서 고정된 그룹 수의 한계를 해결하기 위해 적응적으로 그룹 수를 학습하는 비모수적 접근법을 도입하는 것.
• 그룹 수명과 그룹 간 연결성을 명시적으로 모델링하여 링크 예측 및 네트워크 예측 성능을 향상시키는 것.
• 실세계 네트워크의 동적 특성과 부합하는 의미 있는 시간에 따라 변화하는 그룹을 식별함으로써 해석 가능성 향상.
• 동시에 내부 그룹 및 외부 그룹 간 관계를 동적으로 모델링하여 더 유연하고 정확한 네트워크 구조 표현 가능하게 하는 것.

제안 방법

• 무한한 잠재 그룹 수를 允허하는 거리 의존성 인디안 빵집 프로세스(dd-IBP)를 사용하여 시간에 따라 그룹 생성 및 소멸을 모델링한다.
• 각 노드의 다중 중첩 그룹에 대한 시간에 따른 소속 변화를 포착하기 위해 팩터리얼 은닉 마르코프 모델(FHMM)을 활용한다.
• 네트워크 연결성을 그룹 소속의 기능으로 모델링하며, 링크가 내부 그룹 및 외부 그룹 소속에 모두 의존하도록 한다.
• 그룹 역학, 노드 소속 변화, 네트워크 구조를 통합된 확률적 프레임워크에 통합하는 생성 과정을 도입한다.
• 관측된 동적 네트워크 스냅샷에서 잠재 그룹 소속, 그룹 수명, 모델 파라미터를 추정하기 위해 MCMC 기반 추론을 적용한다.
• 각 시간대의 이진 인접 행렬을 그룹 소속 지표 기반으로 모델링함으로써 유방향 및 무방향 네트워크를 모두 지원한다.

실험 결과

연구 질문

• RQ1 시간에 따라 변화하는 네트워크에서 잠재 그룹의 동적 진화를 모델링하면서도 그룹 생성 및 소멸을 허용할 수 있는가?
• RQ2 노드당 다중 그룹 소속을 허용하는 비모수적 모델이 기존의 모수적 모델보다 누락 링크 및 미래 네트워크 상태 예측에서 더 우수한 성능을 낼 수 있는가?
• RQ3 그룹 간 연결성과 수명을 명시적으로 모델링함으로써, 그룹 역학을 忽略하는 모델에 비해 예측 성능 향상 정도는 어느 정도인가?
• RQ4 모델은 실세계 네트워크 서사(예: 사회적 네트워크 또는 스토리 기반 네트워크)와 부합하는 해석 가능한 시간에 따라 변화하는 그룹을 얼마나 잘 식별할 수 있는가?
• RQ5 기존 모델이 어려움을 겪는 희박한 네트워크에서도 모델은 강력한 성능을 유지하는가?

주요 결과

• 제안된 동적 다중 그룹 소속 그래프 모델(DMMG)은 누락 링크 예측에서 최신 기술 수준의 성능을 달성하였으며, NIPS 데이터셋에서 AUC 0.916, INFOCOM 데이터셋에서 AUC 0.976를 기록하여 LFP 모델의 AUC (~0.85 및 ~0.95)를 초월했다.
• 미래 네트워크 예측에서 DMMG는 INFOCOM 데이터셋에서 가장 높은 AUC(0.804)와 F1 점수(0.392)를 기록하였으며, DRIFT 및 LFRM을 크게 능가했다.
• 희박한 네트워크에서 DMMG는 가장 뚜렷한 성능 향상을 보였으며, 활성적인 그룹 모델링을 통해 시간 정보를 더 잘 활용하고 있음을 시사한다.
• 로드 오브 더 레인즈 사회 네트워크 사례 연구에서, 모델은 세 개의 일관되고 스토리에 부합하는 그룹을 성공적으로 식별하였다: 로한/아라곤 그룹, 프로도/사만/골룸 그룹, 머리/피핀/트리비어드 그룹.
• 모델이 그룹 역학(예: t=2 시점에서 머리와 피핀 그룹의 출현)을 포착할 수 있다는 점은 그 해석 가능성과 서사 이벤트와의 일치성을 보여준다.
• NIPS 데이터셋에서 DRIFT는 더 높은 로그우도를 기록했지만, DMMG는 모든 베이스라인 대비 AUC와 F1에서 승리하여, 일부 경우에서 약간 높은 로그우도를 기록함에도 불구하고 더 뛰어난 예측 능력을 보였다.