[论文解读] Local Algorithms for Block Models with Side Information

Elchanan Mossel, Jiaming Xu|arXiv (Cornell University)|Aug 10, 2015

Machine Learning and Algorithms参考文献 42被引用 3

一句话总结

该论文表明，在存在相关顶点标签这一侧信息的情况下，局部算法（特别是基于局部邻域的信念传播）在稀疏随机块模型中实现社区检测的最优性能。与无侧信息时局部算法表现次优的对称块模型不同，侧信息的存在使得局部方法能够在三种不同的参数区域中最大化正确标记顶点的期望比例。

ABSTRACT

There has been a recent interest in understanding the power of local algorithms for optimization and inference problems on sparse graphs. Gamarnik and Sudan (2014) showed that local algorithms are weaker than global algorithms for finding large independent sets in sparse random regular graphs. Montanari (2015) showed that local algorithms are suboptimal for finding a community with high connectivity in the sparse Erdős-Rényi random graphs. For the symmetric planted partition problem (also named community detection for the block models) on sparse graphs, a simple observation is that local algorithms cannot have non-trivial performance. In this work we consider the effect of side information on local algorithms for community detection under the binary symmetric stochastic block model. In the block model with side information each of the $n$ vertices is labeled $+$ or $-$ independently and uniformly at random; each pair of vertices is connected independently with probability $a/n$ if both of them have the same label or $b/n$ otherwise. The goal is to estimate the underlying vertex labeling given 1) the graph structure and 2) side information in the form of a vertex labeling positively correlated with the true one. Assuming that the ratio between in and out degree $a/b$ is $Θ(1)$ and the average degree $ (a+b) / 2 = n^{o(1)}$, we characterize three different regimes under which a local algorithm, namely, belief propagation run on the local neighborhoods, maximizes the expected fraction of vertices labeled correctly. Thus, in contrast to the case of symmetric block models without side information, we show that local algorithms can achieve optimal performance for the block model with side information.

研究动机与目标

• 研究当存在顶点标签的侧信息时，局部算法是否能在社区检测中实现最优性能。
• 解决在稀疏随机块模型中局部算法与全局算法之间的差距，因为在无侧信息时，局部方法通常表现不佳。
• 刻画信念传播在局部邻域上最大化正确标记顶点比例的参数区域。
• 利用密度演化和高斯近似技术分析信念传播在大度数极限下的渐近性能。

提出的方法

• 形式化定义一个带有侧信息的二元对称随机块模型：每个顶点独立地被标记为+或−，边以概率a/n（相同标签）或b/n（不同标签）生成。
• 在半径为o(log n)的局部邻域上应用信念传播，利用图结构和侧信息联合估计顶点标签。
• 使用带高斯近似的密度演化，推导消息方差和信念更新动态的递归方程。
• 分析递归的不动点，以刻画正确标记顶点的期望比例的渐近行为。
• 运用对称性和矩匹配论证，证明信念传播的期望性能在特定参数区域中达到理论最优。
• 通过方差递归的不动点，推导出在大度数极限（a→∞）下性能的闭式表达式。

实验结果

研究问题

• RQ1 当存在侧信息时，局部算法是否能在社区检测中实现最优性能？
• RQ2 在哪些参数区域中，基于局部邻域的信念传播能最大化正确标记顶点的期望比例？
• RQ3 侧信息的存在如何改变稀疏块模型中局部算法的根本局限性？
• RQ4 信念传播在大度数极限下的渐近性能如何？其与最优可实现精度的关系是什么？
• RQ5 在何种条件下，性能的上下界收敛，从而表明局部算法的最优性？

主要发现

• 当|a−b|<2且所有0<α<1/2时，带有侧信息的对称块模型中，基于局部邻域的信念传播实现最优性能。
• 当(a−b)²>C(a+b)（C为某常数）且所有0<α<1/2时，同样实现最优性。
• 对于所有a,b，若标签错误概率不超过α∗∈(0,1/2)（常数），信念传播即为最优。
• 在大度数极限（a→∞）下，正确标记顶点的期望比例收敛至1−𝔼[Q((v∗+U)/√v∗)]，其中v∗为方程v=μ²h(v)/4的最小不动点。
• 当|μ|<2或α≤α∗时，信念传播的性能界与全局最优值一致，表明不动点v∗唯一且算法最优。
• 信念传播消息的方差递归收敛至不动点，且性能上下界之差在极限下趋于零，从而证实了最优性。