[论文解读] Information-theoretic bounds for exact recovery in weighted stochastic block models using the Renyi divergence

Varun Jog, Po‐Ling Loh|arXiv (Cornell University)|Sep 21, 2015

Random Matrices and Applications参考文献 37被引用 34

一句话总结

本文通过使用社区内与社区间边权分布之间的1/2阶Rényi散度，建立了加权随机块模型中精确社区恢复的严格信息论阈值。研究证明，当Rényi散度超过临界阈值时，最大似然估计以高概率成功；当低于该阈值时，其失败概率有正的下界，从而揭示了相变现象。该工作将先前针对无权SBM的结果推广至连续与离散边权模型。

ABSTRACT

We derive sharp thresholds for exact recovery of communities in a weighted stochastic block model, where observations are collected in the form of a weighted adjacency matrix, and the weight of each edge is generated independently from a distribution determined by the community membership of its endpoints. Our main result, characterizing the precise boundary between success and failure of maximum likelihood estimation when edge weights are drawn from discrete distributions, involves the Renyi divergence of order $\frac{1}{2}$ between the distributions of within-community and between-community edges. When the Renyi divergence is above a certain threshold, meaning the edge distributions are sufficiently separated, maximum likelihood succeeds with probability tending to 1; when the Renyi divergence is below the threshold, maximum likelihood fails with probability bounded away from 0. In the language of graphical channels, the Renyi divergence pinpoints the information-theoretic capacity of discrete graphical channels with binary inputs. Our results generalize previously established thresholds derived specifically for unweighted block models, and support an important natural intuition relating the intrinsic hardness of community estimation to the problem of edge classification. Along the way, we establish a general relationship between the Renyi divergence and the probability of success of the maximum likelihood estimator for arbitrary edge weight distributions. Finally, we discuss consequences of our bounds for the related problems of censored block models and submatrix localization, which may be seen as special cases of the framework developed in our paper.

研究动机与目标

• 推导具有任意边权分布的加权随机块模型中精确社区恢复的信息论极限。
• 确定此前在无权SBM中观察到的1/2阶Rényi散度是否在加权设置中仍为基本量。
• 将现有无权块模型的精确恢复阈值推广至加权块模型。
• 建立Rényi散度与任意边权分布下最大似然估计成功概率之间的一般关系。
• 探讨所提框架在右删失块模型与子矩阵定位问题中的应用，作为其特例。

提出的方法

• 作者将边权建模为从与社区相关的分布中独立抽取的随机变量，其中社区内边与社区间边分别服从不同的分布。
• 利用社区内与社区间边权分布之间的1/2阶Rényi散度，推导出最大似然估计失败概率的一般上界。
• 通过大偏差与矩生成函数技术，分析在零假设与备择假设下对数似然比的渐近行为。
• 关键的技术步骤包括：利用矩生成函数的渐近展开，证明归一化后的对数似然比和收敛于正态分布。
• 证明依赖于构造对数似然比增量的对称分布，并在不同边权模型下分析其质量分布。
• 该框架被进一步扩展，以表明删失块模型与子矩阵定位问题均为所考虑加权SBM的特例。

实验结果

研究问题

• RQ1 在具有离散或连续边权的加权随机块模型中，1/2阶Rényi散度是否仍为精确恢复的严格阈值？
• RQ2 最大似然估计的成功概率如何依赖于社区内与社区间边权分布之间的分离程度？
• RQ3 在加权设置下，能否通过1/2阶Rényi散度表征具有二值输入的图信道的信息论容量？
• RQ4 现有无权SBM恢复阈值在多大程度上可推广至包含更丰富边权信息的模型？
• RQ5 所推导的边界对删失块模型与子矩阵定位等关联问题有何启示？

主要发现

• 当社区内与社区间边权分布之间的1/2阶Rényi散度超过临界阈值时，最大似然估计可实现精确恢复，且成功概率趋于1。
• 当Rényi散度低于该阈值时，最大似然估计的失败概率有正的下界，表明存在严格的相变现象。
• 1/2阶Rényi散度是加权SBM中社区估计内在难度的根本信息论度量。
• 该结果将先前针对无权SBM的阈值推广至任意离散边权分布，同时保持Rényi散度作为关键控制参数的作用。
• 该框架支持一种自然直觉：从信息论角度看，社区恢复的难度等价于对边类型（社区内 vs. 社区间）的分类任务。
• 所推导的边界适用于删失块模型与子矩阵定位问题，后者被证明是该加权SBM框架下的特例。