[论文解读] Belief propagation, robust reconstruction and optimal recovery of block models

Elchanan Mossel, Joe Neeman+1 more|arXiv (Cornell University)|Sep 5, 2013

Markov Chains and Monte Carlo Methods参考文献 24被引用 69

一句话总结

本文提出了一种用于在稀疏随机块模型（两区块）中重建社区的最优信念传播算法，证明当 $(a-b)^2 > C(a+b)$ 对于某个常数 $C$ 时，重建是可能的。该工作首次提出了能够实现最优正确标记节点比例的算法，利用树状结构上的鲁棒重建技术，并为稀疏网络中的社区检测建立了紧致阈值。

ABSTRACT

We consider the problem of reconstructing sparse symmetric block models with two blocks and connection probabilities $a/n$ and $b/n$ for inter- and intra-block edge probabilities, respectively. It was recently shown that one can do better than a random guess if and only if $(a-b)^2>2(a+b)$. Using a variant of belief propagation, we give a reconstruction algorithm that is optimal in the sense that if $(a-b)^2>C(a+b)$ for some constant $C$ then our algorithm maximizes the fraction of the nodes labeled correctly. Ours is the only algorithm proven to achieve the optimal fraction of nodes labeled correctly. Along the way, we prove some results of independent interest regarding robust reconstruction for the Ising model on regular and Poisson trees.

研究动机与目标

• 解决由于平均度较低而导致精确恢复不可能的稀疏随机块模型中的社区检测挑战。
• 在具有两个区块的稀疏对称块模型中，开发一种最大化正确标记节点比例的算法。
• 通过证明当 $(a-b)^2 > C(a+b)$ 时信念传播达到最佳可能性能，建立重建的最优阈值。
• 对规则树和泊松树上的伊辛模型中的鲁棒重建提供严格分析，这是主要结果的基础。

提出的方法

• 提出一种专为具有两个区块和边概率 $a/n$ 与 $b/n$ 的稀疏对称块模型设计的信念传播变体。
• 使用基于树的近似方法分析算法性能，将图的局部结构建模为伽尔顿-沃森树。
• 应用统计物理中的鲁棒重建技术，分析信念传播在噪声和模型误设下的稳定性。
• 采用递归消息传递框架计算节点标签的边际概率，基于邻域信息迭代更新信念。
• 通过证明在条件 $(a-b)^2 > C(a+b)$ 下，正确标记节点的比例收敛到理论最大值，证明该算法实现了最优重建。
• 利用分支过程的集中不等式和尾部界来控制误差传播，并建立向正确标记收敛的条件。

实验结果

研究问题

• RQ1 在稀疏随机块模型中，社区标签在何种条件下可以优于随机猜测地被重建？
• RQ2 是否存在一种基于信念传播的算法，能在稀疏区域内实现正确标记节点的最大比例？
• RQ3 在树状图结构上的伊辛模型中，鲁棒重建的精确阈值是什么？它与社区检测有何关联？
• RQ4 能否通过信念传播和基于树的分析，对块模型的重建阈值进行紧密刻画？
• RQ5 当存在模型误设或噪声时，信念传播的性能如何退化？是否可以使其具备鲁棒性？

主要发现

• 本文确立了当且仅当 $(a-b)^2 > C(a+b)$ 对于某个常数 $C$ 时，可以实现非平凡比例的正确标签重建，与先前工作的猜想阈值一致。
• 所提出的信念传播算法实现了正确标记节点的最大比例，这是首个被证明具有此性能的算法。
• 分析表明，只要 $(a-b)^2 > C(a+b)$，算法性能就明显优于随机猜测，正确标签的比例收敛到严格大于 $1/2$ 的值。
• 在规则树和泊松树上的伊辛模型中，证明了鲁棒重建的存在，为分析块模型中信念传播提供了关键技术工具。
• 作者证明了阈值 $(a-b)^2 > C(a+b)$ 是紧致的，意味着在此条件下，没有任何算法能优于所提出的信念传播方法。
• 结果证实了Decelle等人关于稀疏块模型中存在重建阈值的猜想，并提供了其位置的严格证明。