[论文解读] Community recovery in non-binary and temporal stochastic block models

Konstantin Avrachenkov, Maximilien Dreveton+1 more|arXiv (Cornell University)|Aug 11, 2020

Complex Network Analysis Techniques被引用 5

一句话总结

本文提出了一种适用于非二元及时间网络数据的一般化随机块模型（SBM），其中交互可以是分类的、向量值的，甚至是时间序列。该文推导了社区恢复的信息论界，确立了精确的一致性阈值，并提出了利用数据完整非二元结构的快速在线算法，数值结果表明即使在稀疏设置下也能实现高精度。

ABSTRACT

This article studies the estimation of latent community memberships from pairwise interactions in a network of $N$ nodes, where the observed interactions can be of arbitrary type, including binary, categorical, and vector-valued, and not excluding even more general objects such as time series or spatial point patterns. As a generative model for such data, we introduce a stochastic block model with a general measurable interaction space $\mathcal S$, for which we derive information-theoretic bounds for the minimum achievable error rate. These bounds yield sharp criteria for the existence of consistent and strongly consistent estimators in terms of data sparsity, statistical similarity between intra- and inter-block interaction distributions, and the shape and size of the interaction space. The general framework makes it possible to study temporal and multiplex networks with $\mathcal S = \{0,1\}^T$, in settings where both $N o \infty$ and $T o \infty$, and the temporal interaction patterns are correlated over time. For temporal Markov interactions, we derive sharp consistency thresholds. We also present fast online estimation algorithms which fully utilise the non-binary nature of the observed data. Numerical experiments on synthetic and real data show that these algorithms rapidly produce accurate estimates even for very sparse data arrays.

研究动机与目标

• 将随机块模型扩展至任意交互类型，包括具有通用可测交互空间的时间网络与多层网络。
• 推导此类模型中社区恢复分类误差的信息论下界与上界。
• 为静态与时间SBM确立精确的一致性阈值，特别是在数据稀疏性与统计相似性约束条件下。
• 开发快速、在线的估计算法，充分利用非二元数据特性，避免分类建模带来的低效性。
• 通过合成与真实世界的时间网络及非二元网络数据的数值实验，验证理论发现。

提出的方法

• 引入一个具有交互空间 $\mathcal{S}$ 的一般化SBM，允许任意可测的交互类型，包括时间序列与向量值数据。
• 使用Rényi散度与信息论散度量化块内与块间交互分布之间的统计可区分性。
• 利用Fano不等式的量化版本推导分类误差的下界，适用于稀疏与异质网络。
• 对于具有马尔可夫动态的时间SBM，在转移概率比有界条件下，推导了 $\alpha > 1$ 阶Rényi散度的界。
• 提出算法1，一种基于节点标签局部优化与共识的在线估计方法，可扩展至大规模网络。
• 利用集中不等式与矩生成函数控制散度估计尾部行为，从而支持一致性证明。

实验结果

研究问题

• RQ1 在具有任意交互空间的非二元随机块模型中，社区恢复一致性的条件是什么？
• RQ2 数据稀疏性以及块内与块间交互分布之间的统计相似性如何影响社区恢复中可达到的最小误差率？
• RQ3 当 $N$ 与 $T$ 同时增长时，具有马尔可夫依赖交互的时间SBM的精确一致性阈值是什么？
• RQ4 在线算法能否在充分利用数据非二元特性的同时实现一致估计，避免分类模型带来的 $O(L)$ 复杂度？
• RQ5 在稀疏与高维网络数据上，所提算法与现有方法在准确率与可扩展性方面相比如何？

主要发现

• 本文建立了分类误差的精确信息论下界，其依赖于块内与块间交互分布之间的Rényi散度。
• 对于具有马尔可夫动态的时间SBM，Rényi散度受 $O(\rho T)$ 限制，其中 $\rho$ 为统计相似性度量，$T$ 为时间步数。
• 当转移概率比有界且 $\Lambda = P_{11}^\alpha Q_{11}^{1-\alpha} < 1$ 时，Rényi散度最多以指数形式随 $\rho T$ 增长，从而支持一致性阈值的建立。
• 所提出的在线算法通过迭代利用局部统计信息优化节点标签，实现在大规模稀疏网络中的稳定社区恢复。
• 数值实验表明，该算法收敛迅速，即使在数据稀疏时也能产生高精度估计，优于静态聚合方法。
• 理论一致性阈值是紧致的，与实际性能一致，证实了信息论界的有效性。