[论文解读] Consistency of maximum-likelihood and variational estimators in the Stochastic Block Model

Alain Célisse, Jean‐Jacques Daudin+1 more|arXiv (Cornell University)|May 17, 2011

Bayesian Methods and Mixture Models参考文献 20被引用 140

一句话总结

该论文首次为二值有向随机图的随机块模型（SBM）中的最大似然估计器和变分估计器建立了的一致性结果。通过使用集中不等式和可识别性证明，表明两种估计器均可一致地估计边概率 π，且在额外假设下可一致估计群体比例 α。

ABSTRACT

The stochastic block model (SBM) is a probabilistic model de- signed to describe heterogeneous directed and undirected graphs. In this paper, we address the asymptotic inference on SBM by use of maximum- likelihood and variational approaches. The identi ability of SBM is proved, while asymptotic properties of maximum-likelihood and variational esti- mators are provided. In particular, the consistency of these estimators is settled, which is, to the best of our knowledge, the rst result of this type for variational estimators with random graphs.

研究动机与目标

• 为二值有向图的随机块模型（SBM）中的最大似然估计器和变分估计器建立理论一致性。
• 在较弱假设下证明SBM的可识别性，这对有向图而言是非平凡的。
• 通过推导渐近性质和集中界，弥合变分推断在SBM中的理论空白。
• 表明在SBM中，变分估计器与最大似然估计器渐近等价。

提出的方法

• 通过代数和概率论证，在较弱正则性条件下证明了SBM的可识别性。
• 应用集中不等式控制似然函数和变分下界与其期望之间的偏差。
• 利用变分下界（将Jensen不等式应用于对数似然）推导边缘似然的可计算近似。
• 通过完整似然、变分下界和边缘似然之间的不等式链，界定了估计误差。
• 通过项 ∑ᵢ log αẑᵢ 建立变分估计器与最大似然估计器之间的关系，证明其渐近等价性。
• 利用变分分布与真实后验之间的Kullback-Leibler散度，以对数似然差距的形式界定了估计误差。

实验结果

研究问题

• RQ1 在较弱假设下，特别是对有向图而言，随机块模型是否可识别？
• RQ2 最大似然估计器是否一致地估计SBM中的边概率矩阵 π？
• RQ3 变分估计器是否一致地估计SBM中的 π，且是否收敛至与最大似然估计器相同的极限？
• RQ4 能否通过证明变分方法渐近匹配最大似然估计器，从而在理论上证明其在SBM中的合理性？
• RQ5 在大型SBM图中，似然函数和变分目标函数的集中性质是什么？

主要发现

• 即使在有向图中，随机块模型在较弱正则性条件下仍具有可识别性，这是一个非平凡的结果。
• 最大似然估计器可一致地估计SBM中群体之间的边概率 π。
• 变分估计器可一致地估计 π，这是变分推断在SBM中首次获得此类结果。
• 变分估计器与最大似然估计器渐近等价，估计误差在假设(A3)下被界为 O(n log(1/γ))。
• 变分下界与边缘似然之间的差异通过项 ∑ᵢ log αẑᵢ 控制，该量在正则性条件下渐近趋于零。
• 通过集中不等式表明，似然函数和变分目标函数集中在它们的期望附近，从而支持了一致性证明。