[论文解读] Community Detection in Random Networks

Ery Arias-Castro, Nicolas Verzélen+2 more|arXiv (Cornell University)|Feb 28, 2013

Complex Network Analysis Techniques参考文献 21被引用 39

一句话总结

本文在Erdös-Rényi随机网络中建立了识别密集连通子图（社区）的精确检测极限，将问题形式化为极小极大假设检验。推导出可通过总度数与扫描统计量组合检验实现的检测边界，并通过凸松弛方法将结果扩展至$ p_0 $未知及多项式时间算法的情形，关键结果集中在准正态区域，其中$ np_0 $远离零或缓慢衰减。

ABSTRACT

Random graph models with community structure have been studied extensively in the literature. For both the problems of detecting and recovering community structure, an interesting landscape of statistical and computational phase transitions has emerged. A natural unanswered question is: might it be possible to infer properties of the community structure (for instance, the number and sizes of communities) even in situations where actually finding those communities is believed to be computationally hard? We show the answer is no. In particular, we consider certain hypothesis testing problems between models with different community structures, and we show (in the low-degree polynomial framework) that testing between two options is as hard as finding the communities. In addition, our methods give the first computational lower bounds for testing between two different "planted" distributions, whereas previous results have considered testing between a planted distribution and an i.i.d. "null" distribution.

研究动机与目标

• 将社区检测形式化为随机网络中的极小极大假设检验问题。
• 推导在边概率$ p_1 > p_0 $的Erdös-Rényi图中识别大小为$ n $的密集子图（社区）的精确检测边界。
• 设计一种可达到信息论检测极限的检验方法，无论$ p_0 $是否已知。
• 分析多项式时间算法的性能，特别是扫描检验的凸松弛方法，并与最优检验进行比较。

提出的方法

• 将社区检测形式化为两组假设检验问题：原假设为$ G(N, p_0) $，备择假设为大小为$ n $的子图具有更高的边密度$ p_1 > p_0 $。
• 利用信息论论证推导检测性能的极小极大下界，适用于所有检验方法。
• 提出结合总度数统计量与扫描（最大模块度）统计量的组合检验，以实现检测边界。
• 当$ p_0 $未知时，引入度数方差检验，并利用全局图估计校准扫描检验。
• 通过扫描统计量的凸松弛方法开发多项式时间检验，灵感来源于稀疏特征值问题。
• 分析最优扫描检验与其凸松弛版本之间的性能差距，并与其它多项式时间方法进行比较。

实验结果

研究问题

• RQ1 在忽略计算成本的前提下，识别随机网络中密集子图的根本检测极限是什么？
• RQ2 当原假设边概率$ p_0 $未知时，检测边界如何变化？
• RQ3 多项式时间算法能否达到信息论检测极限，还是存在根本性差距？
• RQ4 在不同稀疏性区域下，总度数与扫描统计量在检测能力方面如何比较？

主要发现

• 检测边界由条件$ \sqrt{n}(p_1 - p_0) / \sqrt{p_0(1 - p_0)} \gg \sqrt{\log(N/n)} $刻画，该条件对检测而言既必要又充分。
• 总度数与扫描统计量的组合检验可实现最优检测边界，与信息论下界完全匹配。
• 当$ p_0 $未知时，检测边界变大，而度数方差检验与校准后的扫描检验组合可实现新的最优阈值。
• 扫描检验的凸松弛方法实现的检测边界与最优扫描检验仅相差常数因子，但在稀疏区域存在差距。
• 当$ n \ll N $时，最大度数检验完全无效，但扫描检验在相同条件下仍具强大检测能力。
• 在$ np_0 $远离零或缓慢衰减的准正态区域，检测边界是精确的，且所提出的检验在渐近意义上是最优的。