[论文解读] Global and Local Information in Clustering Labeled Block Models

Varun Kanade, Elchanan Mossel+1 more|arXiv (Cornell University)|Jan 1, 2014

Complex Network Analysis Techniques被引用 2

一句话总结

本文研究了一种结合网络结构与部分节点标签信息的有标签随机块模型，用于聚类。研究证明，在具有两个簇的稀疏网络中，仅当簇的数量足够大时，才可能仅通过极少的节点标签实现局部聚类；否则，全局信息至关重要，且在重建阈值以下，局部算法会失效。其主要贡献在于确立了节点标签可用性在高簇数情形下实现高效局部恢复的关键作用。

ABSTRACT

The stochastic block model is a classical cluster-exhibiting random graph model that has been widely studied in statistics, physics and computer science. In its simplest form, the model is a random graph with two equal-sized clusters, with intra-cluster edge probability p, and inter-cluster edge probability q. We focus on the sparse case, i.e. p, q = O(1/n), which is practically more relevant and also mathematically more challenging. A conjecture of Decelle, Krzakala, Moore and Zdeborova, based on ideas from statistical physics, predicted a specific threshold for clustering. The negative direction of the conjecture was proved by Mossel, Neeman and Sly (2012), and more recently the positive direction was proven independently by Massoulie and Mossel, Neeman, and Sly. In many real network clustering problems, nodes contain information as well. We study the interplay between node and network information in clustering by studying a labeled block model, where in addition to the edge information, the true cluster labels of a small fraction of the nodes are revealed. In the case of two clusters, we show that below the threshold, a small amount of node information does not affect recovery. On the other hand, we show that for any small amount of information efficient local clustering is achievable as long as the number of clusters is sufficiently large (as a function of the amount of revealed information).

研究动机与目标

• 理解全局网络结构与部分节点标签信息在稀疏网络聚类中的相互作用。
• 研究在稀疏随机块模型中，少量已知节点标签是否能实现高效的局部聚类。
• 确定局部算法在恢复簇结构方面优于全局推断的条件。
• 建立在部分节点标签揭示时，局部聚类可行性的理论阈值。
• 阐明对称性破缺在利用最少标签信息实现聚类恢复中的作用。

提出的方法

• 提出一种有标签随机块模型，除网络结构外，还揭示一小部分节点标签。
• 使用Galton-Watson树近似来建模局部邻域，并分析来自已揭示节点的信息传播。
• 通过树与随机块模型之间的耦合论证，将树上的结果推广到图上。
• 运用条件熵与马尔可夫性质论证，证明当局部信息不足时，全局信息无助于提升。
• 应用树上广播过程的结果（例如，Evans等 [12]）来界定节点标签预测误差的期望值。
• 使用集中不等式与渐近分析，推导出在n趋于无穷大且标签比例p较小时的收敛速率。

实验结果

研究问题

• RQ1 在具有两个簇的稀疏随机块模型中，少量已知节点标签是否能实现局部聚类？
• RQ2 在部分节点标签揭示时，局部聚类在何种条件下变得可行？
• RQ3 簇的数量是否影响在最小标签信息下局部聚类的可行性？
• RQ4 当局部信息不足时，是否必须依赖全局信息才能实现聚类恢复？
• RQ5 节点标签的存在如何打破对称性，并在经典重建阈值以下实现恢复？

主要发现

• 在双簇情形下，即使仅揭示少量节点标签，局部聚类在重建阈值以下仍不可行。
• 对于任意固定的标签信息量，当簇的数量足够大时，局部聚类将变得可行。
• 当 (a−b)² < 2(a+b) 时，仅使用局部信息与部分标签预测节点标签的期望误差被限制在 1/2 × √(p / (1 − (a−b)²/(2(a+b)))) 以内，且当 p→0 时收敛于 1/2。
• 当局部信息不足时，全局信息无法进一步降低节点标签的条件熵。
• 在局部信息微弱时，给定全局图与部分标签的节点标签条件熵渐近最大化，表明全局结构无法提供改善。
• 结果表明，通过节点标签实现对称性破缺对局部恢复至关重要，且该效应仅在簇数足够大以打破树状局部结构时才有效。