[论文解读] Community detection and stochastic block models: recent developments

Emmanuel Abbé|arXiv (Cornell University)|Mar 29, 2017

Complex Network Analysis Techniques被引用 418

一句话总结

本文综述了随机块模型（SBMs）中社区检测的最新理论进展，确立了精确恢复、部分恢复和弱恢复的信息论极限与计算极限。文中识别出在Chernoff-Hellinger阈值和Kesten-Stigum阈值处的相变现象，并分析了谱方法、信念传播和图分割等算法以实现最优性能。

ABSTRACT

The stochastic block model (SBM) is a random graph model with planted clusters. It is widely employed as a canonical model to study clustering and community detection, and provides generally a fertile ground to study the statistical and computational tradeoffs that arise in network and data sciences. This note surveys the recent developments that establish the fundamental limits for community detection in the SBM, both with respect to information-theoretic and computational thresholds, and for various recovery requirements such as exact, partial and weak recovery (a.k.a., detection). The main results discussed are the phase transitions for exact recovery at the Chernoff-Hellinger threshold, the phase transition for weak recovery at the Kesten-Stigum threshold, the optimal distortion-SNR tradeoff for partial recovery, the learning of the SBM parameters and the gap between information-theoretic and computational thresholds. The note also covers some of the algorithms developed in the quest of achieving the limits, in particular two-round algorithms via graph-splitting, semi-definite programming, linearized belief propagation, classical and nonbacktracking spectral methods. A few open problems are also discussed.

研究动机与目标

• 确立随机块模型（SBMs）中社区检测的基本信息论极限与计算极限。
• 分析在Chernoff-Hellinger阈值处的精确恢复相变以及在Kesten-Stigum阈值处的弱恢复相变。
• 研究SBMs中部分恢复的最优失真-信噪比权衡。
• 考察社区检测中信息论极限与计算极限之间的差距。
• 综述关键算法，如半定规划、谱方法和信念传播，以实现理论极限。

提出的方法

• 将随机块模型（SBM）作为具有植入簇的典型随机图模型，用于研究社区检测。
• 利用分歧度量推导信息论极限，特别是使用Chernoff-Hellinger分歧度量进行精确恢复。
• 应用Kesten-Stigum阈值以确定对称SBMs中弱恢复的相变点。
• 使用线性化信念传播和非回溯谱方法，在理论极限附近实现高效的社区检测。
• 采用两轮图分割算法，在保持恢复精度的同时降低计算复杂度。
• 利用半定规划松弛方法，为社区检测问题提供可证明的保证。

实验结果

研究问题

• RQ1 随机块模型中的精确恢复信息论极限是什么？
• RQ2 在SBM中，弱恢复在何时变得可能——Kesten-Stigum阈值是多少？
• RQ3 SBMs中部分恢复的失真与信噪比之间最优权衡是什么？
• RQ4 社区检测中信息论极限与计算极限之间的差距有多大？
• RQ5 哪些算法能够实现SBMs中社区检测的理论极限？

主要发现

• 当信噪比超过Chernoff-Hellinger阈值时，SBM中的精确恢复才可能实现。
• 在Kesten-Stigum阈值以上，SBM中的弱恢复变得可能，标志着一个清晰的相变。
• 对于部分恢复，最优失真-信噪比权衡由基于互信息界推导出的精确解析表达式表征。
• 信息论极限与多项式时间算法可实现的计算极限之间存在显著差距。
• 两轮图分割、半定规划和非回溯谱方法在不同场景下均实现了近似最优性能。
• 线性化信念传播以及基于非回溯行走的谱方法在最优条件下可实现在稀疏SBMs中的精确恢复。