[논문 리뷰] Community recovery in non-binary and temporal stochastic block models

Konstantin Avrachenkov, Maximilien Dreveton외 1명|arXiv (Cornell University)|2020. 08. 11.

Complex Network Analysis Techniques인용 수 5

한 줄 요약

이 논문은 상호작용이 범주형, 벡터값, 또는 시간 시리즈일 수 있는 비이元 및 시간적 네트워크 데이터를 위한 일반적인 스토하스틱 블록 모델(SBM)을 제안한다. 공동 회복을 위한 정보이론적 한계를 유도하여 날카로운 일致성 임계값을 설정하고, 데이터의 전반적인 비이원 구조를 활용하는 빠른 온라인 알고리즘을 제안하며, 수치 결과는 희박한 설정에서도 높은 정확도를 보임.

ABSTRACT

This article studies the estimation of latent community memberships from pairwise interactions in a network of $N$ nodes, where the observed interactions can be of arbitrary type, including binary, categorical, and vector-valued, and not excluding even more general objects such as time series or spatial point patterns. As a generative model for such data, we introduce a stochastic block model with a general measurable interaction space $\mathcal S$, for which we derive information-theoretic bounds for the minimum achievable error rate. These bounds yield sharp criteria for the existence of consistent and strongly consistent estimators in terms of data sparsity, statistical similarity between intra- and inter-block interaction distributions, and the shape and size of the interaction space. The general framework makes it possible to study temporal and multiplex networks with $\mathcal S = \{0,1\}^T$, in settings where both $N o \infty$ and $T o \infty$, and the temporal interaction patterns are correlated over time. For temporal Markov interactions, we derive sharp consistency thresholds. We also present fast online estimation algorithms which fully utilise the non-binary nature of the observed data. Numerical experiments on synthetic and real data show that these algorithms rapidly produce accurate estimates even for very sparse data arrays.

연구 동기 및 목표

• 비이원 및 시간적 네트워크, 일반 측정 가능한 상호작용 공간을 포함한 임의의 상호작용 유형으로 스토하스틱 블록 모델을 확장하기 위해.
• 이러한 모델에서 공동 회복을 위한 분류 오차에 대한 정보이론적 하한 및 상한을 도출하기 위해.
• 특히 데이터 희박성 및 통계적 유사성 제약 조건 하에서 정적 및 시간적 SBM에 대한 날카로운 일치성 임계값을 설정하기 위해.
• 범주형 모델링의 비효율성 회피를 위해 비이원 데이터를 완전히 활용하는 빠른 온라인 추정 알고리즘을 개발하기 위해.
• 합성 및 실세계의 시간적 및 비이원 네트워크 데이터에 대한 수치 실험을 통해 이론적 결과를 검증하기 위해.

제안 방법

• 측정 가능한 상호작용 유형(시간 시리즈 및 벡터값 데이터 포함)을 허용하는 일반 SBM을 도입하며, 상호작용 공간을 $\mathcal{S}$로 정의함.
• 블록 내 및 블록 간 상호작용 분포 간 통계적 가려움을 측정하기 위해 Rényi 분산과 정보이론적 분산을 사용함.
• 정량적 Fano 부등식을 적용하여 분류 오차에 대한 하한을 도출함. 이는 희박하고 이질적인 네트워크에 적용 가능함.
• 마르코프 동역학을 갖는 시간적 SBM의 경우, 전이 확률 비율에 대한 유계 조건 하에서 $\alpha > 1$ 인 Rényi 분산에 대한 한계를 도출함.
• 알고리즘 1을 제안함. 이는 노드별 레이블 개선과 공감 기반 추정에 기반한 온라인 추정 방법으로, 대규모 네트워크에 대해 확장 가능함.
• 농도 불등식과 모멘트 생성 함수를 활용하여 분산 추정치의 尾행동을 제한함으로써 일致성 증명을 가능하게 함.

실험 결과

연구 질문

• RQ1 어떤 조건에서 임의의 상호작용 공간을 갖는 비이원 스토하스틱 블록 모델에서 일치하는 공동 회복이 가능할 수 있는가?
• RQ2 데이터 희박성과 블록 내 및 블록 간 상호작용 분포 간 통계적 유사성은 공동 회복의 최소 달성 가능한 오차율에 어떤 영향을 미치는가?
• RQ3 N과 T가 모두 증가할 때, 마르코프 의존 상호작용을 갖는 시간적 SBM의 날카로운 일치성 임계값은 무엇인가?
• RQ4 온라인 알고리즘이 비이원 데이터의 본질을 완전히 활용하면서도, 범주형 모델의 $O(L)$ 복잡도를 피할 수 있는가?
• RQ5 제안된 알고리즘은 희박하고 고차원적인 네트워크 데이터에서 기존 방법과 비교해 정확도와 확장성 측면에서 어떻게 성능을 내는가?

주요 결과

• 논문은 블록 내 및 블록 간 상호작용 분포 간 Rényi 분산에 따라 의존하는 날카로운 정보이론적 하한을 도출함.
• 마르코프 동역학을 갖는 시간적 SBM의 경우, Rényi 분산은 $O(\rho T)$로 유계지며, 여기서 $\rho$는 통계적 유사성의 척도이고 $T$는 시간 단계 수임.
• 전이 확률 비율이 유계이면서 $\Lambda = P_{11}^\alpha Q_{11}^{1-\alpha} < 1$ 이면, Rényi 분산은 $\rho T$에 대해 최대 지수적으로 증가하며, 이는 일치성 임계값을 가능하게 함.
• 제안된 온라인 알고리즘은 국소 통계를 사용해 반복적으로 노드 레이블을 개선함으로써 대규모 희박 네트워크에서 일치하는 공동 회복을 달성함.
• 수치 실험 결과, 알고리즘이 빠르게 수렴하고 데이터가 희박한 경우에도 정확한 추정치를 생성함. 정적 집계 방법보다 뛰어난 성능을 보임.
• 이론적 일치성 임계값은 날카롭고 경험적 성능와 일치함. 이는 정보이론적 한계의 타당성을 확인함.