[论文解读] A Tractable Fully Bayesian Method for the Stochastic Block Model

Kohei Hayashi, Takuya Konishi+1 more|arXiv (Cornell University)|Feb 6, 2016

Bayesian Methods and Mixture Models参考文献 33被引用 8

一句话总结

该论文提出了一种可处理的、完全贝叶斯的方法用于随机块模型（SBM），通过一种新颖的因子化渐近贝叶斯（FAB）框架，联合执行聚类分配推断与聚类数量（K）的模型选择。通过结合变分近似与拉普拉斯方法，并引入一种改进的信念传播规则，该方法在无需对模型候选值进行外层循环的情况下，实现了稳定、可扩展且精确的推断，始终选择简洁但性能优越的模型。

ABSTRACT

The stochastic block model (SBM) is a generative model revealing macroscopic structures in graphs. Bayesian methods are used for (i) cluster assignment inference and (ii) model selection for the number of clusters. In this paper, we study the behavior of Bayesian inference in the SBM in the large sample limit. Combining variational approximation and Laplace's method, a consistent criterion of the fully marginalized log-likelihood is established. Based on that, we derive a tractable algorithm that solves tasks (i) and (ii) concurrently, obviating the need for an outer loop to check all model candidates. Our empirical and theoretical results demonstrate that our method is scalable in computation, accurate in approximation, and concise in model selection.

研究动机与目标

• 开发一种用于随机块模型的完全贝叶斯方法，同时执行聚类分配推断与聚类数量（K）的模型选择。
• 解决传统完全贝叶斯方法的可扩展性问题，这些方法需要对所有候选K值重复计算边缘似然。
• 在稀疏图中提高模型选择的一致性，因为标准FAB近似在模型奇异时会失效。
• 通过将模型选择直接嵌入推断过程，消除对K值外层循环的依赖。
• 通过选择小而可解释的K值，在保持高预测性能的同时，实现模型准确性和简洁性的平衡。

提出的方法

• 该方法采用因子化渐近贝叶斯（FAB）框架，通过渐近展开近似完全边缘化对数似然。
• 结合变分近似与拉普拉斯方法，推导出在密集图和稀疏图中均一致的模型选择准则。
• 推导出一种新的信念传播（BP）规则，用于全贝叶斯推断，保留聚类分配之间的相关性，从而在准确性上优于平均场近似。
• 在目标函数中引入一种改进的惩罚项R₂，实现可解释的正则化与模型简洁性。
• 算法采用类似EM的交替最大化，以闭式表达，实现高效优化而无需超参数调优。
• 模型选择嵌入在推断过程中：从K_max开始，算法收敛至更小的最优K值，从而无需外部模型比较。

实验结果

研究问题

• RQ1 能否使SBM的完全贝叶斯方法在大样本极限下既可处理又具一致性，特别是在稀疏图中？
• RQ2 如何将聚类数量（K）的模型选择无缝集成到后验推断过程中，而无需对K候选值进行外层循环？
• RQ3 在完全贝叶斯SBM的背景下，信念传播对推断准确性的影响如何，相较于平均场近似？
• RQ4 FAB框架如何适应处理稀疏图中的模型奇异问题，其中标准近似方法会失效？
• RQ5 所提出的方法是否在模型准确性与简洁性（即更小的K值）之间实现了优于现有方法的更好平衡？

主要发现

• 在八个真实网络中的五个上，F2AB实现了最佳的归一化预测对数似然（NPLL），优于ICL、cICL、VB、FAB和FIC+BP。
• 在除'usaport'外的所有数据集上，F2AB选择了最少的聚类数（K），其K值比FIC+BP小2至4倍，同时保持了相当或更好的预测准确性。
• 在人工生成的K=4的合成数据中，F2AB和FIC+BP比其他方法更准确且更稳定地检测到K=4，尤其是在样本量N较小时。
• FIC+BP在预测上优于FAB，这是由于其更好的推断（BP），但F2AB在预测和模型简洁性方面均超越FIC+BP，这是由于其改进的目标函数中引入了R₂正则化。
• F2AB算法比其他方法更有效地避免了局部最优解，这可能是由于从K_max初始化以及使用BP，后者能更好地捕捉稀疏图中的依赖关系。
• 该方法在密集图和稀疏图中均表现出一致的性能，其渐近一致性具有理论依据，并且在边缘似然近似中的误差率得到改善。