[논문 리뷰] Modeling sequences and temporal networks with dynamic community structures

Tiago P. Peixoto, Martin Rosvall|arXiv (Cornell University)|2015. 09. 15.

Opinion Dynamics and Social Influence인용 수 6

한 줄 요약

이 논문은 임의의 순서 Markov 체인과 공동체 구조를 갖는 비모수 베이지안 프레임워크를 제안하여 시간적 시퀀스와 동적 네트워크를 모델링한다. 이는 인위적인 시간스케일 없이 데이터 기반으로 최적의 기억 순서와 공동체 분할을 추론할 수 있게 하며, 과적합을 방지하기 위해 데이터를 설명할 수 있는 가장 단순한 모델을 선택함으로써 성공적으로 다양한 실세계 데이터셋(텍스트, 이메일, 이동성, 사회적 접촉 데이터 등)에서 의미 있는 동적 공동체 구조를 식별한다.

ABSTRACT

In evolving complex systems such as air traffic and social organizations, collective effects emerge from their many components' dynamic interactions. While the dynamic interactions can be represented by temporal networks with nodes and links that change over time, they remain highly complex. It is therefore often necessary to use methods that extract the temporal networks' large-scale dynamic community structure. However, such methods are subject to overfitting or suffer from effects of arbitrary, a priori imposed timescales, which should instead be extracted from data. Here we simultaneously address both problems and develop a principled data-driven method that determines relevant timescales and identifies patterns of dynamics that take place on networks as well as shape the networks themselves. We base our method on an arbitrary-order Markov chain model with community structure, and develop a nonparametric Bayesian inference framework that identifies the simplest such model that can explain temporal interaction data.

연구 동기 및 목표

• 동적 네트워크와 시퀀스 모델링에서 인위적인 시간스케일을 도입하거나 과적합 문제를 겪는 기존 방법의 한계를 해결하기 위해.
• 네트워크의 동적 특성과 네트워크 구조의 변화를 동시에 모델링하는 통합 프레임워크를 개발하기 위해.
• 데이터에 가장 잘 맞는 가장 단순한 마르코프 체인과 공동체 구조를 식별하는 원칙적인 모델 선택을 가능하게 하기 위해.
• 노이즈로 인한 잘못된 구조를 피하기 위해 데이터에서 직접 관련 있는 시간스케일과 동적 공동체 패턴을 추출하기 위해.
• 단순한 모델을 사용하여 과거 관측치로부터 미래의 네트워크 동적 특성을 예측할 수 있도록 지원하기 위해.

제안 방법

• 사건의 시간적 시퀀스를 표현하기 위해 임의의 순서 Markov 체인과 공동체 구조를 기반으로 한 생성 모델을 설정한다.
• 비모수 베이지안 추론 프레임워크(특히 Dirichlet 과정 혼합)를 사용하여 공동체 수와 마르코프 순서를 동시에 추론한다.
• 스토캐스틱 블록 모델을 사용해 상태 또는 간선을 공동체로 그룹화함으로써, 데이터 기반으로 공동체 구조를 학습할 수 있도록 한다.
• 공동체 수와 기억 순서에 대한 비모수적 사전 분포를 도입하여 과적합을 방지하고 자동 모델 선택을 가능하게 한다.
• 효율적인 모델 매개변수 및 초매개변수의 사후 분포 계산을 위해 변분 베이지안 근사를 적용한다.
• 노드 수에 대해 로그선형 계산 복잡도를 활용하여 대규모 네트워크에 대한 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 주어진 시간적 시퀀스에 대한 최적의 기억 순서는 무엇이며, 사전 가정 없이 데이터에서 직접 추론할 수 있는가?
• RQ2 임의의 시간 창이나 집계 레이어를 도입하지 않고도 시간적 네트워크의 동적 공동체 구조를 어떻게 식별할 수 있는가?
• RQ3 모델은 고차원 데이터에서 진정한 동적 패턴과 임의의 변동(노이즈)을 구분할 수 있는가?
• RQ4 유추된 모델이 과거 관측치로부터 미래의 네트워크 동적 특성을 어느 정도 정확하게 예측할 수 있는가?
• RQ5 공동체 구조를 포함시킴으로써 복잡한 네트워크 상의 시간적 과정을 모델링하는 데 어떤 개선이 이루어지는가?

주요 결과

• 모델은 과적합 없이 고차원 설정에서도 합성 데이터에서 정확한 마르코프 순서와 공동체 수를 식별하는 데 성공했다.
• 베를리너의 제5번 교향곡 데이터셋에서, 모델은 마르코프 순서 3과 공동체 수 4를 추론하여 화성과 리듬 패턴을 효과적으로 포착했다.
• Enron 이메일 데이터셋에서는 마르코프 순서 2와 공동체 수 5를 추론하여 직원 그룹 간의 명확한 소통 패턴을 드러냈다.
• RockYou 암호 목록에서는 마르코프 순서 1과 공동체 수 3을 추론하여 일반적인 암호 구조 패턴을 식별했다.
• 모든 실세계 데이터셋에서 정적 공동체 탐지 및 고정 기억 순서 모델보다 예측 정확도에서 뛰어난 성능을 보였다.
• 노드 수에 대해 로그선형 복잡도를 보이며, APS 인용 및 prosper.com 대출 데이터셋과 같은 대규모 네트워크에서도 효율적인 추론이 가능함을 입증했다.