[论文解读] Bayesian Model Selection of Stochastic Block Models

Xiaoran Yan|ArXiv.org|May 23, 2016

Bayesian Methods and Mixture Models被引用 5

一句话总结

本文提出了一种用于随机块模型（SBM）和度校正块模型（DC-SBM）的贝叶斯模型选择框架，实现了对不同块数模型的合理比较。通过推导贝叶斯信息准则（BIC）并将其与最小描述长度（MDL）原理关联，该方法提供了一个通用框架，在数据不足以支持更高复杂度时倾向于选择更简单的模型。在合成网络和真实网络上的实证验证表明，该方法在模型选择准确性方面表现优异。

ABSTRACT

A central problem in analyzing networks is partitioning them into modules or communities. One of the best tools for this is the stochastic block model, which clusters vertices into blocks with statistically homogeneous pattern of links. Despite its flexibility and popularity, there has been a lack of principled statistical model selection criteria for the stochastic block model. Here we propose a Bayesian framework for choosing the number of blocks as well as comparing it to the more elaborate degree- corrected block models, ultimately leading to a universal model selection framework capable of comparing multiple modeling combinations. We will also investigate its connection to the minimum description length principle.

研究动机与目标

• 为随机块模型（SBM）及其变体解决缺乏合理统计模型选择准则的问题。
• 开发一种贝叶斯框架，实现在不同块数下对SBM与DC-SBM的公平比较。
• 建立一种能够比较多种模型阶数组合的通用模型选择方法。
• 将贝叶斯方法与最小描述长度（MDL）原理关联，确保理论一致性。
• 在合成网络和真实网络（包括空手道俱乐部和政治博客数据集）上对框架进行实证验证。

提出的方法

• 通过对方程（1）中潜变量的积分并使用Laplace方法近似边缘似然，推导出原始SBM的贝叶斯信息准则（BIC）。
• 将BIC推广至度校正SBM（DC-SBM），引入额外参数以处理度异质性。
• 通过减去在原始SBM下预期的差异，对DC-SBM的对数似然进行归一化，以实现在不同模型间的直接比较。
• 建立推导出的BIC与MDL原理之间的等价性，确保与信息论模型选择的理论一致性。
• 使用马尔可夫链蒙特卡洛（MCMC）采样估计真实网络的对数似然，以实证评估不同块数下的模型性能。
• 将该框架应用于在不同块数下比较SBM与DC-SBM，选择具有最高归一化后验（对数ICL）的模型。

实验结果

研究问题

• RQ1 如何为具有不同块数的随机块模型开发一种合理的贝叶斯模型选择框架？
• RQ2 基于边缘似然的贝叶斯框架在SBM和DC-SBM的模型与阶数选择中，相较于频率学派方法，其性能优越程度如何？
• RQ3 在网络模型背景下，能否证明贝叶斯BIC与最小描述长度（MDL）原理等价？
• RQ4 DC-SBM中引入度校正对模型选择有何影响？在何种情况下应优先选择DC-SBM而非原始SBM？
• RQ5 根据所提出的框架，真实网络（如空手道俱乐部和政治博客网络）的最优块数是多少？

主要发现

• 所提出的贝叶斯框架在合成数据（生成自5个块和双峰度分布）上成功识别出原始SBM（k=10）为最优模型。
• 在空手道俱乐部网络中，通用贝叶斯框架选择原始SBM（k=4）为最优模型，即使在k=2时也优于DC-SBM，原因在于度异质性不足。
• 在政治博客网络中，由于存在显著的度异质性和聚类结构，DC-SBM（k=2）在所有k值中均优于原始SBM。
• 该框架的归一化过程使得SBM与DC-SBM在不同k值下的直接比较成为可能，解决了模型选择中的模糊性问题。
• 推导出的DC-SBM的BIC包含一个随网络规模增长的额外惩罚项，当使用度校正时更倾向于选择较少的块。
• 实证结果表明，贝叶斯方法在如政治博客网络等情形下与频率学派似然比检验结果一致，但提供了更全面且合理的模型比较。