[논문 리뷰] A Poisson Gamma Probabilistic Model for Latent Node-group Memberships in Dynamic Networks

Sikun Yang, Heinz Koeppl|arXiv (Cornell University)|2018. 05. 28.

Complex Network Analysis Techniques참고 문헌 24인용 수 13

한 줄 요약

이 논문은 시간에 따라 변화하는 네트워크에서 잠재적 노드-그룹 소속 관계를 위한 동적 푸아송-감마 모델을 제안한다. 멤버십은 감마 분포를 따르며 마르코프 체인을 통해 시간에 따라 변화하고, 효율적인 배치 및 온라인 깁스 샘플링을 통해 추론된다. 이 방법은 비영인 간선 수에 비례하여 선형적으로 확장되며, 합성 및 실세계 데이터에서 링크 예측과 그룹 탐지에서 최신 기술을 능가한다. 또한 수축 메커니즘을 통해 최적의 그룹 수를 자동으로 추론한다.

ABSTRACT

We present a probabilistic model for learning from dynamic relational data, wherein the observed interactions among networked nodes are modeled via the Bernoulli Poisson link function, and the underlying network structure are characterized by nonnegative latent node-group memberships, which are assumed to be gamma distributed. The latent memberships evolve according to Markov processes. The optimal number of latent groups can be determined by data itself. The computational complexity of our method scales with the number of non-zero links, which makes it scalable to large sparse dynamic relational data. We present batch and online Gibbs sampling algorithms to perform model inference. Finally, we demonstrate the model's performance on both synthetic and real-world datasets compared to state-of-the-art methods.

연구 동기 및 목표

• 노드의 역할이 시간에 따라 변화하는 시간에 따라 변화하는 네트워크에서 노드-그룹 소속 관계의 동적 변화를 모델링하기 위해.
• 모든 노드 쌍이 아닌 비영인 간선 수에 비례하여 확장되는 계산적으로 효율적인 추론 방법을 개발하여 대규모 희박한 네트워크 분석을 가능하게 하기 위해.
• 다중 그룹에 대한 소속 정도를 반영하는 비음수이면서 연속적인 노드-그룹 소속 강도를 허용하기 위해.
• 감마 사전 분포의 구조에 수축 메커니즘을 도입하여 데이터로부터 최적의 잠재 그룹 수를 자동으로 추론하기 위해.
• 노드-그룹 소속 관계의 시간적 변화를 명시적으로 모델링하여 링크 예측과 커뮤니티 탐지 성능을 향상시키기 위해.

제안 방법

• 잠재적 노드-그룹 소속 관계는 감마 분포를 따르는 랜덤 변수로 모델링되며, 감마 마르코프 체인을 통해 시간에 따라 변화하여 비음수성과 시간적 매끄러움을 보장한다.
• 베르누이-푸아송 링크 함수는 관측된 이진 간선을 잠재적 푸아송 수에 매핑하여 계산 비용을 비영인 간선 수에 비례하도록 낮추며, 전체 N²개의 노드 쌍이 아닌 방식으로 확장된다.
• 그룹 간 상호작용 가중치는 감마 분포를 따르는 그룹 가중치와 상호작용 파라미터를 계층적으로 모델링하며, 내부 및 외부 그룹 간 링크에 대해 별도의 사전 분포를 사용한다.
• 데이터 증강 및 마진화 기법을 통해 후행 분포 추론을 위한 효율적인 깁스 샘플링을 가능하게 하며, 확장성을 위해 배치 및 온라인 버전이 모두 존재한다.
• 그룹 가중치에 수축 유도 사전 분포를 사용하여 K가 증가함에 따라 불필요한 그룹이 자동으로 제거되도록 한다.
• 온라인 깁스 샘플러는 데이터를 미니배치 단위로 처리하여 거대한 희박한 동적 네트워크에서 실시간 또는 스트리밍 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 확률적 모델이 동적 네트워크에서 노드-그룹 소속 관계의 시간적 변화를 효과적으로 포착할 수 있는가?
• RQ2 잠재적 그룹 소속 관계를 다양한 소속 정도를 반영하는 연속적이고 비음수적인 값으로 어떻게 모델링할 수 있는가?
• RQ3 잠재 그룹의 수를 수동 조정 없이 데이터로부터 자동으로 추론할 수 있는가?
• RQ4 깁스 샘플링을 사용하는 푸아송-감마 모델이 기존 방법보다 동적 네트워크에서 링크 예측과 커뮤니티 탐지 성능을 뛰어나게 하는가?
• RQ5 계산 비용을 모든 가능한 노드 쌍이 아닌 비영인 간선 수에 비례하도록 줄일 수 있는가?

주요 결과

• DPGM 모델은 Enron 데이터셋에서 AUC-ROC(0.983 ± 0.001)와 AUC-PR(0.398 ± 0.006)를 기록하여 DRIFT, D-GPPF, HGP-EPM를 모두 능가했다.
• NIPS 데이터셋에서는 AUC-ROC 0.930 ± 0.002와 AUC-PR 0.129 ± 0.004를 기록하여 다양한 지표에서 뛰어난 성능을 보였다.
• 온라인 깁스 샘플러는 NIPS 70 데이터셋에서 반복 계산 시간을 0.1283초로 줄여 DRIFT(11.7초)보다 훨씬 빠르게 하였으며, D-GPPF와도 경쟁 가능했다.
• 합성 데이터에서 모델은 그룹 분할 및 융합과 같은 동적 그룹 변화를 성공적으로 포착하였으며, 시간에 따라 매끄럽고 정확한 노드-그룹 소속 관계의 변화를 보였다.
• 수축 메커니즘이 비록 K=50로 초기화되었더라도 불필요한 그룹을 효과적으로 감소시켜 자동으로 그룹 수 추론이 가능함을 확인했다.
• DPGM는 노드-그룹 소속 관계의 시간적 변화를 명시적으로 모델링함으로써 정적 모델인 HGP-EPM보다 뛰어난 성능을 보였으며, 링크 예측에서 동적 모델링의 중요성을 입증했다.