[论文解读] Mixing Time of Metropolis-Hastings for Bayesian Community Detection

Bumeng Zhuo, Chao Gao|arXiv (Cornell University)|Nov 6, 2018

Complex Network Analysis Techniques参考文献 30被引用 4

一句话总结

该论文在最优信噪比条件下建立了贝叶斯社区检测的后验强一致性，并证明当期望度为 log n 阶时，采用单次翻转提议的简单 Metropolis-Hastings 算法能够实现快速混合，混合时间为 O(n³ log n)。分析基于典型路径方法，结合后验比界，控制谱间隙并确保对后验分布的有效抽样。

ABSTRACT

We study the computational complexity of a Metropolis-Hastings algorithm for Bayesian community detection. We first establish a posterior strong consistency result for a natural prior distribution on stochastic block models under the optimal signal-to-noise ratio condition in the literature. We then give a set of conditions that guarantee rapid mixing of a simple Metropolis-Hastings algorithm. The mixing time analysis is based on a careful study of posterior ratios and a canonical path argument to control the spectral gap of the Markov chain.

研究动机与目标

• 分析 Metropolis-Hastings 算法在贝叶斯社区检测中的计算效率。
• 在最优信噪比条件下建立后验强一致性，特别是当期望度为 Θ(log n) 时。
• 为采用单次翻转提议的简单 Metropolis-Hastings 算法提供混合时间的理论保证。
• 证明尽管状态空间呈指数级增长，仍可实现多项式混合时间，挑战了混合时间随指数增长的普遍看法。

提出的方法

• 在随机块模型中，对社区标签分配使用均匀先验，对边概率使用 Beta 先验。
• 采用单次翻转提议的 Metropolis-Hastings 算法，接受概率与后验比乘以温度参数成比例。
• 应用典型路径方法，通过控制马尔可夫链状态图中的边拥塞，界定了谱间隙并建立了快速混合。
• 仔细分析后验比，推导出转移概率和链收敛性的定量界。
• 利用集中不等式和基于熵的界，控制观测边数与期望边数之间的偏差。
• 采用频率学框架，假设网络由真实的潜在随机块模型生成。

实验结果

研究问题

• RQ1 在何种条件下，随机块模型中的后验分布对社区检测具有强一致性？
• RQ2 采用单次翻转提议的简单 Metropolis-Hastings 算法能否在贝叶斯社区检测中实现快速混合？
• RQ3 当期望度为 Θ(log n) 时，Metropolis-Hastings 链的混合时间是多少？
• RQ4 尽管社区分配的状态空间呈指数级增长，是否仍可实现多项式混合时间？
• RQ5 先验选择（标签上的均匀先验，边概率上的 Beta 先验）如何影响后验集中度和混合时间？

主要发现

• 当期望度为 Θ(log n) 时，后验强一致性成立，此为最优条件，优于先前的 Θ(log²n) 条件。
• 在最优信噪比条件下，采用单次翻转提议的 Metropolis-Hastings 算法混合时间为 O(n³ log n)。
• 典型路径论证成功控制了拥塞，并建立了混合时间的多项式上界。
• 后验比分析表明，典型配置与非典型配置之间存在良好分离，从而实现高效探索。
• 该方法在高维设置下仍能实现快速混合，尽管直观上认为混合时间会呈指数级增长。
• 通过模拟网络上的数值实验验证了理论界，结果表现出竞争力。