[論文レビュー] Asymptotically efficient estimators for stochastic blockmodels: the naive MLE, the rank-constrained MLE, and the spectral

Minh Tang, Joshua Cape+1 more|arXiv (Cornell University)|Oct 30, 2017

Random Matrices and Applications参考文献 31被引用数 14

ひとこと要約

本稿は、ストークスティックブロックモデルにおけるブロック確率行列のスペクトル埋め込み推定器の漸近正規性を確立し、平均次数が √n より速やかに増加する場合には漸近的に有効であることを示している。真のブロック行列 𝐁 が特異である場合、スペクトル埋め込みは制約なしMLEを上回り、𝐁 のランクを既知とするオラクルMLEに近い有効性に達する。

ABSTRACT

We establish asymptotic normality results for estimation of the block probability matrix $\mathbf{B}$ in stochastic blockmodel graphs using spectral embedding when the average degrees grows at the rate of $ω(\sqrt{n})$ in $n$, the number of vertices. As a corollary, we show that when $\mathbf{B}$ is of full-rank, estimates of $\mathbf{B}$ obtained from spectral embedding are asymptotically efficient. When $\mathbf{B}$ is singular the estimates obtained from spectral embedding can have smaller mean square error than those obtained from maximizing the log-likelihood under no rank assumption, and furthermore, can be almost as efficient as the true MLE that assume known $\mathrm{rk}(\mathbf{B})$. Our results indicate, in the context of stochastic blockmodel graphs, that spectral embedding is not just computationally tractable, but that the resulting estimates are also admissible, even when compared to the purportedly optimal but computationally intractable maximum likelihood estimation under no rank assumption.

研究の動機と目的

• ストークスティックブロックモデルにおけるブロック確率行列 𝐁 の3つの推定器（ナイーブMLE、ランク制約付きMLE、スペクトル埋め込み）の漸近的性質を分析すること。
• スペクトル埋め込みが、𝐁 が特異またはフルランクである場合に、どのような条件下で漸近的に有効な推定器を生成するかを特定すること。
• スペクトル埋め込みの平均二乗誤差（MSE）を、制約なしMLEおよびランクの真の値を既知とするオラクルMLEと比較すること。
• スペクトル埋め込みが、計算的に実行不可能な最適推定器でさえも上回る統計的妥当性（統計的許容性）を示すこと。
• スペクトル埋め込みが、ストークスティックブロックモデル枠組みにおいて漸近正規性および一次の有効性を達成するための条件を導出すること。

提案手法

• 隣接行列 𝐀 のスペクトル埋め込みを用いて潜在的位置を推定し、その後、射影または最小二乗法によりブロック確率行列 𝐁 を再構築する。
• 漸近的確率行列理論を用いて、スペクトル推定器の ∥⋅∥₂→∞ 範囲における収束速度を導出。ある直交行列 W に対して ∥Û − UW∥₂→∞ = O_P(log^c n / (n√ρ_n)) が成り立つことを示す。
• 期待値 𝐏 のまわりでの隣接行列 𝐀 の摂動解析を実施。リゾルベント展開と行列ノルムの境界を用いて、誤差の伝搬を制御する。
• 文献[21]の補題7.10を用いて、∥(𝐀−𝐏)^k U∥₂→∞ のノルムを有界化。この際、固有ベクトルが局所化されておらず、∥𝐮ⱼ∥∞ = O_P(n^{-1/2}) であると仮定する。
• nρ_n = ω(log^{2c} n) の条件下で、スペクトル推定器の漸近正規性を導出。誤差が主項よりも速く減少することを保証する。
• ランク制約なしMLEの漸近的分散と、ランク(𝐁)を既知とするオラクルMLEの漸近的分散を比較し、漸近的有効性理論を用いる。

実験結果

リサーチクエスチョン

• RQ1 𝐁 のスペクトル埋め込み推定器が漸近的に正規分布に従うための条件は何か？
• RQ2 𝐁 が特異である場合、スペクトル埋め込みの平均二乗誤差は制約なしMLEと比べてどうなるか？
• RQ3 𝐁 がフルランクである場合、スペクトル埋め込みは漸近的に有効性を達成できるか？また、ランクを既知とするオラクルMLEと比べて性能はどうか？
• RQ4 ランク制約なしMLEの理論的最適推定器（計算的に実行不可能）と比較して、スペクトル埋め込みは統計的に許容可能か？
• RQ5 スペクトル推定器の ∥⋅∥₂→∞ 範囲における収束速度は何か？また、これにより𝐁 の推定の漸近分布にどのような影響を与えるか？

主な発見

• 平均次数が ω(√n) の速度で増加する場合、スペクトル埋め込みはブロック確率行列 𝐁 の推定に対して漸近的に正規分布に従う。
• 𝐁 がフルランクである場合、スペクトル推定器は漸近的に一次の有効性を達成し、ランクを既知とするオラクルMLEと同等の性能を示す。
• 𝐁 が特異である場合、スペクトル推定器の平均二乗誤差は、ランク制約なしMLEよりも小さい。
• 真のランクを知らなくても、スペクトル推定器はオラクルMLEにほぼ匹敵する有効性を達成する。
• スペクトル推定器の ∥⋅∥₂→∞ 範囲における収束速度は O_P(log^c n / (n√ρ_n)) であり、nρ_n = ω(log^{2c} n) の条件下で漸近正規性が保証される。
• スペクトル埋め込みは計算的に実行可能であるだけでなく、漸近的有効性という意味で統計的に最適であり、𝐁 が特異である有限標本では理論的最適MLEをも上回る性能を示す。