[论文解读] Community Detection: Exact Recovery in Weighted Graphs

Mohammad Esmaeili, Aria Nosratinia|arXiv (Cornell University)|Jan 1, 2021

Complex Network Analysis Techniques参考文献 31被引用 5

一句话总结

本文建立了在具有高斯或指数边权的加权图中实现精确社区恢复的信息论条件，引入了新型半度量 Dg 和 De，用于表征精确恢复的充分与必要条件。结果表明，当且仅当这些半度量超过对数阈值时，精确恢复是可能的，在高斯噪声模型下，完整图与不完整全连通图中均具有渐近紧致的界。

ABSTRACT

In community detection, the exact recovery of communities (clusters) has been mainly investigated under the general stochastic block model with edges drawn from Bernoulli distributions. This paper considers the exact recovery of communities in a complete graph in which the graph edges are drawn from either a set of Gaussian distributions with community-dependent means and variances, or a set of exponential distributions with community-dependent means. For each case, we introduce a new semi-metric that describes sufficient and necessary conditions of exact recovery. The necessary and sufficient conditions are asymptotically tight. The analysis is also extended to incomplete, fully connected weighted graphs.

研究动机与目标

• 推导加权图中连续边权下社区精确恢复的充分与必要条件。
• 将随机块模型扩展至连续分布——特别是高斯与指数分布，超越二值边模型。
• 提出新型半度量 Dg 和 De，以捕捉在这些分布下精确恢复的信息论极限。
• 通过将边分布近似为高斯分布，分析因随机边删除而产生的不完整但全连通的加权图。
• 提供渐近紧致的恢复阈值，可推广至高维推断问题（如稀疏 PCA 与张量 PCA）。

提出的方法

• 引入两种新型半度量：基于社区特定分布之间加权散度的 Dg（用于高斯边权分布）与 De（用于指数边权分布）。
• 利用广义中值定理与积分界，推导节点标签恢复错误概率的指数上下界。
• 应用切尔诺夫-赫林类型散度分析，刻画误分类概率的衰减速率。
• 通过伯努利边删除建模不完整图，其中 θij = cij log n / n，表明在特定条件下，所得边分布仍近似为高斯分布。
• 利用伽马分布与高斯混合分布的性质，对整个权值空间上两个密度函数的最小值进行有界。
• 通过分析当 n → ∞ 时 Dg(μi,μj,Σi,Σj)/log n 与 De(λi,λj,p)/log n 的极限，推导渐近条件。

实验结果

研究问题

• RQ1 在具有高斯边权分布的完整加权图中，节点标签的精确恢复在何种条件下是可能的？
• RQ2 当边权服从具有社区依赖速率的指数分布时，精确恢复的信息论阈值是什么？
• RQ3 当图因随机边删除而变得不完整但仍全连通时，恢复条件如何变化？
• RQ4 能否将不完整图中边权的分布近似为高斯分布以保持恢复保证？
• RQ5 社区大小比例以及社区内/社区间方差在决定恢复阈值中起什么作用？

主要发现

• 在具有高斯边权的完整加权图中，当且仅当 min_{i≠j} Dg(μi,μj,Σi,Σj) > 0 且 Dg = ω(log n) 时，社区的精确恢复是可能的。
• 当 Dg(μi,μj,Σi,Σj) = O(log n) 时，精确恢复是可能的当且仅当 lim_{n→∞} Dg(μi,μj,Σi,Σj)/log n > 1。
• 对于指数边权，当且仅当 min_{i≠j} De(λi,λj,p) > 0 且 De = ω(log n) 时，精确恢复是可能的。
• 当 De(λi,λj,p) = O(log n) 时，精确恢复成立当且仅当 lim_{n→∞} De(λi,λj,p)/log n > 1。
• 在通过伯努利边删除形成的不完整但全连通图中，边权分布仍近似为高斯分布，因此可应用相同的恢复条件，但需调整参数：μij = pi¯µijθij 与 Σij = piθij[¯σ²ij + (1−θij)¯µ²ij]。
• 所推导的半度量 Dg 与 De 渐近紧致，为给定模型下的精确恢复提供了必要与充分条件。