[论文解读] Achieving Exact Cluster Recovery Threshold via Semidefinite Programming

Bruce Hajek, Yihong Wu+1 more|arXiv (Cornell University)|Nov 24, 2014

Statistical Methods and Inference参考文献 31被引用 25

一句话总结

该论文证明了在二元对称随机块模型和植 Dense 子图模型中，半定规划（SDP）对最大似然估计的松弛能够达到精确恢复的阈值，从而解决了长期存在的一个猜想。它证明了当信噪比达到信息论阈值时，SDP 以高概率成功实现对真实聚类结构的精确恢复，具体而言，在随机块模型中，当 $(\sqrt{a} - \sqrt{b})^2 > 2$ 时成立。

ABSTRACT

The binary symmetric stochastic block model deals with a random graph of $n$ vertices partitioned into two equal-sized clusters, such that each pair of vertices is connected independently with probability $p$ within clusters and $q$ across clusters. In the asymptotic regime of $p=a \log n/n$ and $q=b \log n/n$ for fixed $a,b$ and $n o \infty$, we show that the semidefinite programming relaxation of the maximum likelihood estimator achieves the optimal threshold for exactly recovering the partition from the graph with probability tending to one, resolving a conjecture of Abbe et al. \cite{Abbe14}. Furthermore, we show that the semidefinite programming relaxation also achieves the optimal recovery threshold in the planted dense subgraph model containing a single cluster of size proportional to $n$.

研究动机与目标

• 解决一个长期存在的猜想：半定规划（SDP）对最大似然估计的松弛在二元对称随机块模型中能够达到精确恢复的阈值。
• 将 SDP 的最优性扩展到具有与 $n$ 成比例大小的单个聚类的植 Dense 子图模型。
• 建立 SDP 在多项式时间内实现信息论恢复阈值的理论依据，尽管原始最大似然问题属于 NP-难问题。
• 在渐近尺度 $p = a\log n/n$，$q = b\log n/n$ 下，对 SDP 性能提供严格的理论分析，其中 $n \to \infty$。
• 证明当 $(\sqrt{a} - \sqrt{b})^2 > 2$ 时，SDP 能够实现精确恢复，与任何算法的根本极限一致。

提出的方法

• 在随机块模型下，将聚类恢复问题表述为最大似然估计任务。
• 将最大似然问题松弛为半定规划（SDP），从而实现多项式时间内的计算。
• 通过集中不等式和随机邻接矩阵的特征值界分析 SDP 解。
• 利用概率论论证和二项分布随机变量的尾部界，评估正确聚类分配的可能性。
• 基于信噪比 $a$ 和 $b$ 建立一个阈值条件，证明当 $(\sqrt{a} - \sqrt{b})^2 > 2$ 时 SDP 能够成功。
• 通过构造概率下界证明该阈值的必要性，表明当该条件不满足时 SDP 会失败。

实验结果

研究问题

• RQ1 在二元对称随机块模型中，半定规划能否达到精确恢复的阈值？
• RQ2 在具有线性规模聚类的植 Dense 子图模型中，SDP 松弛能否成功实现聚类的精确恢复？
• RQ3 尽管原始最大似然问题属于 NP-难问题，SDP 松弛是否在信息论恢复阈值上仍具有最优性？
• RQ4 在何种 $a$ 和 $b$ 条件下，SDP 能够以高概率实现精确恢复？
• RQ5 在子线性衰减区域中，SDP 方法能否克服与植 clique 问题相关的计算障碍？

主要发现

• 在二元对称随机块模型中，当 $(\sqrt{a} - \sqrt{b})^2 > 2$ 时，SDP 松弛能够以高概率实现精确聚类恢复。
• 本文解决了文献 [1] 中的猜想，即 SDP 达到了最优恢复阈值，确认其与信息论极限一致。
• 对于聚类大小为 $K = \lfloor \rho n \rfloor$ 的植 Dense 子图模型，当满足相同的阈值条件时，SDP 能够实现精确恢复。
• 分析表明，当 $a < b$ 时，由于孤立顶点或模糊的邻域结构，以高概率无法实现精确恢复。
• 证明表明，只要满足阈值条件，SDP 解对噪声具有鲁棒性，即使在信号微弱时也能正确识别聚类。
• 结果表明，SDP 不仅计算高效，而且在统计上是最优的，在两种模型中均达到了恢复的根本极限。