[论文解读] Information Limits for Recovering a Hidden Community

Bruce Hajek, Yihong Wu+1 more|arXiv (Cornell University)|Sep 25, 2015

Random Matrices and Applications参考文献 26被引用 7

一句话总结

本文建立了从大小为 $K$ 的隐藏社区中恢复信息的严格信息论极限，该社区位于一个 $n \times n$ 的对称噪声矩阵中，社区内条目服从分布 $P$，外部条目服从 $Q$。本文推导出弱恢复和精确恢复的紧致必要与充分条件，表明当且仅当满足某一特定散度条件时，精确恢复在信息论上是可能的；并且，当满足信息论阈值时，可通过投票程序将弱恢复算法升级为精确恢复。

ABSTRACT

We study the problem of recovering a hidden community of cardinality $K$ from an $n imes n$ symmetric data matrix $A$, where for distinct indices $i,j$, $A_{ij} \sim P$ if $i, j$ both belong to the community and $A_{ij} \sim Q$ otherwise, for two known probability distributions $P$ and $Q$ depending on $n$. If $P={ m Bern}(p)$ and $Q={ m Bern}(q)$ with $p>q$, it reduces to the problem of finding a densely-connected $K$-subgraph planted in a large Erdös-Rényi graph; if $P=\mathcal{N}(μ,1)$ and $Q=\mathcal{N}(0,1)$ with $μ>0$, it corresponds to the problem of locating a $K imes K$ principal submatrix of elevated means in a large Gaussian random matrix. We focus on two types of asymptotic recovery guarantees as $n o \infty$: (1) weak recovery: expected number of classification errors is $o(K)$; (2) exact recovery: probability of classifying all indices correctly converges to one. Under mild assumptions on $P$ and $Q$, and allowing the community size to scale sublinearly with $n$, we derive a set of sufficient conditions and a set of necessary conditions for recovery, which are asymptotically tight with sharp constants. The results hold in particular for the Gaussian case, and for the case of bounded log likelihood ratio, including the Bernoulli case whenever $\frac{p}{q}$ and $\frac{1-p}{1-q}$ are bounded away from zero and infinity. An important algorithmic implication is that, whenever exact recovery is information theoretically possible, any algorithm that provides weak recovery when the community size is concentrated near $K$ can be upgraded to achieve exact recovery in linear additional time by a simple voting procedure.

研究动机与目标

• 确定从对称噪声矩阵中恢复大小为 $K$ 的隐藏社区的根本信息论极限。
• 表征当 $n \to \infty$ 时，弱恢复（少量错误）和精确恢复（无错误）可能成立的条件。
• 在一般指数族框架下，统一涵盖伯努利和高斯条目等多样化模型的结果。
• 表明当精确恢复在信息论上可行时，可通过线性时间投票程序将弱恢复算法升级为精确恢复。

提出的方法

• 将隐藏社区模型表述为对称矩阵，其中社区内条目从 $P$ 中抽取，外部条目从 $Q$ 中抽取，采用指数族框架。
• 基于 Kullback-Leibler 散度和对数似然比性质，推导出弱恢复和精确恢复的必要与充分条件。
• 分析在子线性 $K = o(n)$ 规模下的社区检测问题的渐近行为。
• 当满足信息论阈值时，应用投票程序将弱恢复算法升级为精确恢复。
• 使用集中不等式和大偏差理论来界定分类错误概率。
• 通过证明必要性与充分性并得到精确常数，建立所推导条件的紧致性。

实验结果

研究问题

• RQ1 从大小为 $K$ 的噪声对称矩阵中恢复隐藏社区的根本信息论极限是什么？
• RQ2 在什么 $P$、$Q$ 和 $K$ 条件下，当 $n \to \infty$ 时，社区的精确恢复是可能的？
• RQ3 当满足信息论阈值时，能否系统性地将弱恢复算法升级为实现精确恢复？
• RQ4 在高斯和伯努利情形下，恢复阈值的行为如何？它们是否可在一般框架下统一？
• RQ5 对数似然比在确定恢复阈值的紧致性中起什么作用？

主要发现

• 在 $\mu \to 0$ 的高斯情形下，精确恢复在信息论上是可能的，当且仅当社区大小 $K$ 满足 $K \gtrsim \frac{1}{2} \log n$。
• 在伯努利情形下，精确恢复是可能的，当且仅当 $\frac{p}{q}$ 和 $\frac{1-p}{1-q}$ 远离零和无穷大，且 $K \gtrsim \frac{1}{2} \log n$。
• 恢复的必要与充分条件在渐近意义下是紧致的，即使在子线性 $K = o(n)$ 的情形下也具有精确常数。
• 当精确恢复在信息论上可行时，任何社区大小在 $K$ 附近集中分布的弱恢复算法，均可通过线性时间投票程序升级为精确恢复。
• 结果在指数族范围内保持一致，包括高斯情形和有界对数似然比情形，具有统一的表征。
• 精确恢复的阈值由 $P$ 与 $Q$ 之间的散度决定，且在伯努利情形下，该条件等价于对数似然比的有界性。