[论文解读] Estimating the number of communities by Stepwise Goodness-of-fit

Jiashun Jin, Zheng Tracy Ke+2 more|arXiv (Cornell University)|Sep 19, 2020

Complex Network Analysis Techniques参考文献 35被引用 9

一句话总结

本文提出了一种新型方法——逐步拟合优度（StGoF），通过迭代应用 SCORE 社区检测方法和一种新的拟合优度统计量 $ \psi_n^{(m)} $，来估计网络中的社区数 $ K $。当 $ m = K $ 时，渐近地 $ \psi_n^{(m)} \to N(0,1) $；当 $ m < K $ 时，$ \psi_n^{(m)} \to \infty $ 在概率上成立，从而在弱信号和度异质性条件下实现 $ K $ 的一致估计，并展现出最优的相变行为。

ABSTRACT

Given a symmetric network with $n$ nodes, how to estimate the number of communities $K$ is a fundamental problem. We propose Stepwise Goodness-of-Fit (StGoF) as a new approach to estimating $K$. For $m = 1, 2, \ldots$, StGoF alternately uses a community detection step (pretending $m$ is the correct number of communities) and a goodness-of-fit step. We use SCORE \cite{SCORE} for community detection, and propose a new goodness-of-fit measure. Denote the goodness-of-fit statistic in step $m$ by $\psi_n^{(m)}$. We show that as $n ightarrow \infty$, $\psi_n^{(m)} ightarrow N(0,1)$ when $m = K$ and $\psi_n^{(m)} ightarrow \infty$ in probability when $m < K$. Therefore, with a proper threshold, StGoF terminates at $m = K$ as desired. We consider a broad setting where we allow severe degree heterogeneity, a wide range of sparsity, and especially weak signals. In particular, we propose a measure for signal-to-noise ratio (SNR) and show that there is a phase transition: when $\mathrm{SNR} ightarrow 0$ as $n ightarrow \infty$, consistent estimates for $K$ do not exist, and when $\mathrm{SNR} ightarrow \infty$, StGoF is consistent, uniformly for a broad class of settings. In this sense, StGoF achieves the optimal phase transition. Stepwise testing algorithms of similar kind (e.g., \cite{wang2017likelihood, ma2018determining}) are known to face analytical challenges. We overcome the challenges by using a different design in the stepwise algorithm and by deriving sharp results in the under-fitting case $(m < K)$ and the null case ($m = K$). The key to our analysis is to show that SCORE has the {\it Non-Splitting Property (NSP)}. The NSP is non-obvious, so additional to rigorous proofs, we also provide an intuitive explanation.

研究动机与目标

• 解决在严重度异质性和弱信号条件下估计网络中社区数 $ K $ 的基本挑战。
• 在包括稀疏和弱可检测设置在内的广泛网络模型类中，开发一种一致且鲁棒的 $ K $-估计方法。
• 基于信噪比（SNR）建立一致 $ K $-估计的相变，识别出理论上无法或可能进行估计的时刻。
• 通过引入一种新设计并证明在拟合不足和零假设条件下的精确有限样本行为，克服逐步检验算法中常见的分析难题。
• 建立 SCORE 的非分裂性性质（NSP）作为该方法一致性的关键理论基础。

提出的方法

• StGoF 在假设存在 $ m $ 个社区的前提下，交替执行社区检测步骤（使用 SCORE）和拟合优度步骤（评估 $ m $-社区模型的拟合程度）。
• 提出一种新的拟合优度统计量 $ \psi_n^{(m)} $，当 $ m = K $ 时，其渐近服从标准正态分布。
• 当 $ \psi_n^{(m)} $ 低于临界阈值时，算法终止，表明已找到正确的 $ K $，依据是在 $ m = K $ 时其收敛于 $ N(0,1) $。
• 该方法通过确保在拟合不足（$ m < K $）和零假设（$ m = K $）情况下对 $ \psi_n^{(m)} $ 行为的严格控制，避免了以往逐步检验算法中常见的分析陷阱。
• 证明了 SCORE 的非分裂性性质（NSP），确保在弱信号下估计的社区不会分裂为子群，这对方法的一致性至关重要。
• 引入了一种信噪比（SNR）度量，以表征社区的可检测性，从而识别出估计一致性中的相变。

实验结果

研究问题

• RQ1 在存在弱信号和度异质性的网络中，何时可以实现对社区数 $ K $ 的一致估计？
• RQ2 逐步检验算法的性能如何依赖于信噪比（SNR）？其一致性受何种相变规律控制？
• RQ3 能否设计一种逐步算法，避免先前方法的分析难题，同时在广泛的网络设置下保持一致性？
• RQ4 社区检测算法（特别是 SCORE）的何种结构性质，使得所提出的 StGoF 方法能够实现最优相变行为？
• RQ5 当 $ m = K $ 与 $ m < K $ 时，拟合优度统计量 $ \psi_n^{(m)} $ 的渐近行为如何？这种行为如何用于停止规则的设计？

主要发现

• 当 $ n \to \infty $ 时，若 $ m = K $，则拟合优度统计量 $ \psi_n^{(m)} \to N(0,1) $ 在分布上成立，提供了一个有效的停止准则。
• 当 $ m < K $ 时，$ \psi_n^{(m)} \to \infty $ 在概率上成立，确保算法不会过早终止。
• 该方法实现了最优相变：当且仅当 $ \mathrm{SNR} \to \infty $ 时，一致的 $ K $-估计是可能的；当 $ \mathrm{SNR} \to 0 $ 时，估计是不可能的。
• StGoF 在包括严重度异质性和稀疏性在内的广泛网络模型类中具有一致性。
• 证明了 SCORE 的非分裂性性质（NSP）对于方法的理论有效性至关重要，且其成立并非显而易见或不言自明。
• 所提出的 SNR 度量能够精确刻画可检测性阈值，从而区分出 $ K $-估计可行与不可行的区域。