[论文解读] Asymptotically efficient estimators for stochastic blockmodels: the naive MLE, the rank-constrained MLE, and the spectral

Minh Tang, Joshua Cape+1 more|arXiv (Cornell University)|Oct 30, 2017

Random Matrices and Applications参考文献 31被引用 14

一句话总结

该论文建立了随机块模型中块概率矩阵谱嵌入估计量的渐近正态性，表明当平均度数增长快于√n时，这些估计量是渐近高效的。当真实块矩阵𝐁为奇异矩阵时，谱嵌入优于无约束最大似然估计（MLE），并趋近于已知𝐁秩的‘理想’MLE的效率。

ABSTRACT

We establish asymptotic normality results for estimation of the block probability matrix $\mathbf{B}$ in stochastic blockmodel graphs using spectral embedding when the average degrees grows at the rate of $ω(\sqrt{n})$ in $n$, the number of vertices. As a corollary, we show that when $\mathbf{B}$ is of full-rank, estimates of $\mathbf{B}$ obtained from spectral embedding are asymptotically efficient. When $\mathbf{B}$ is singular the estimates obtained from spectral embedding can have smaller mean square error than those obtained from maximizing the log-likelihood under no rank assumption, and furthermore, can be almost as efficient as the true MLE that assume known $\mathrm{rk}(\mathbf{B})$. Our results indicate, in the context of stochastic blockmodel graphs, that spectral embedding is not just computationally tractable, but that the resulting estimates are also admissible, even when compared to the purportedly optimal but computationally intractable maximum likelihood estimation under no rank assumption.

研究动机与目标

• 分析随机块模型中块概率矩阵𝐁的三种估计量（朴素MLE、秩约束MLE和谱嵌入）的渐近性质。
• 确定谱嵌入在什么条件下可产生渐近高效的估计量，特别是当𝐁为奇异或满秩时。
• 比较谱嵌入与无约束MLE及已知𝐁秩的‘理想’MLE的均方误差（MSE）。
• 证明谱嵌入不仅计算上可行，而且在统计上是可接受的，甚至优于计算上不可行的最优估计量。
• 推导谱嵌入在随机块模型框架下实现渐近正态性与一阶高效性的条件。

提出的方法

• 对邻接矩阵𝐀进行谱嵌入以估计隐含位置，然后通过投影或最小二乘法重构块概率矩阵𝐁。
• 应用渐近随机矩阵理论，推导谱估计量在∥⋅∥₂→∞范数下的收敛速率，证明∥Û − UW∥₂→∞ = O_P(log^c n / (n√ρ_n))，其中W为某正交矩阵。
• 对邻接矩阵𝐀围绕其期望𝐏进行扰动分析，利用预解式展开和矩阵范数界控制误差传播。
• 利用文献[21]中的引理7.10，对∥(𝐀−𝐏)^k U∥₂→∞范数进行有界，假设特征向量具有去局域化性质，即∥𝐮ⱼ∥∞ = O_P(n^{-1/2})。
• 在条件nρ_n = ω(log^{2c} n)下，推导谱估计量的渐近正态性，确保误差衰减快于主导项。
• 利用渐近效率理论，比较谱估计量与无秩假设下的MLE及已知rank(𝐁)的‘理想’MLE的渐近方差。

实验结果

研究问题

• RQ1 在何种条件下，𝐁的谱嵌入估计量是渐近正态的？
• RQ2 当𝐁为奇异矩阵时，谱嵌入的均方误差与无约束MLE相比如何？
• RQ3 当𝐁为满秩时，谱嵌入能否实现渐近高效？其与已知𝐁秩的‘理想’MLE相比表现如何？
• RQ4 与无秩假设下理论上最优但计算上不可行的MLE相比，谱嵌入在统计上是否可接受？
• RQ5 谱估计量在∥⋅∥₂→∞范数下的收敛速率是多少？其如何影响𝐁估计量的渐近分布？

主要发现

• 当平均度数以ω(√n)的速度增长时，谱嵌入可产生块概率矩阵𝐁的渐近正态估计。
• 当𝐁为满秩时，谱估计量是渐近一阶高效的，其性能与已知秩的‘理想’MLE相当。
• 当𝐁为奇异矩阵时，谱估计量的均方误差小于无约束MLE（后者假设无秩约束）。
• 尽管谱嵌入不依赖于𝐵的真实秩，其效率几乎与已知真实秩的‘理想’MLE相当。
• 谱估计量在∥⋅∥₂→∞范数下的收敛速率为O_P(log^c n / (n√ρ_n))，在条件nρ_n = ω(log^{2c} n)下可确保渐近正态性。
• 谱嵌入不仅计算上可行，而且在渐近效率的意义上是统计最优的，甚至在𝐵为奇异矩阵的有限样本中，其表现优于理论上最优的MLE。