[論文レビュー] The Highest Dimensional Stochastic Blockmodel with a Regularized Estimator

Karl Rohe, Tai Qin+1 more|arXiv (Cornell University)|Jun 11, 2012

Bayesian Methods and Mixture Models参考文献 33被引用数 8

ひとこと要約

本稿は、ブロック数 $K$ が $N/\log^5 N$ に比例して増加する、最も高次元の確率的ブロックモデルを導入している。これは理論的限界 $K \leq N$ に近い。ネットワーク科学および人類学からの経験的知見を活用した正則化された最尤推定器を提案し、やや弱い条件下でも誤分類されたノードの割合が確率的にゼロに収束することを証明した。これは、パrametricネットワークモデルにおける正則化の最初の一貫性結果を確立するものである。

ABSTRACT

In the high dimensional Stochastic Blockmodel for a random network, the number of clusters (or blocks) K grows with the number of nodes N. Two previous studies have examined the statistical estimation performance of spectral clustering and the maximum likelihood estimator under the high dimensional model; neither of these results allow K to grow faster than N^{1/2}. We study a model where, ignoring log terms, K can grow proportionally to N. Since the number of clusters must be smaller than the number of nodes, no reasonable model allows K to grow faster; thus, our asymptotic results are the "highest" dimensional. To push the asymptotic setting to this extreme, we make additional assumptions that are motivated by empirical observations in physical anthropology (Dunbar, 1992), and an in depth study of massive empirical networks (Leskovec et al 2008). Furthermore, we develop a regularized maximum likelihood estimator that leverages these insights and we prove that, under certain conditions, the proportion of nodes that the regularized estimator misclusters converges to zero. This is the first paper to explicitly introduce and demonstrate the advantages of statistical regularization in a parametric form for network analysis.

研究の動機と目的

• ブロック数 $K$ が $N$ に比例して増加する確率的ブロックモデルの統計的枠組みを構築すること。これは理論的最大値に近い。
• 物理的人類学（Dunbarの法則）および大規模ネットワーク研究（Leskovecら）から得られる経験的知見を統合すること。これらはブロックサイズが有界に保たれるべきであると示唆している。
• 高次元設定における推定精度を向上させる正則化最尤推定器（RMLE）を設計すること。
• 正則化推定器が一貫性を示し、$N \to \infty$ の極限で誤分類ノードの割合がゼロに収束することを証明すること。

提案手法

• ブロックサイズがゆっくり増加し、Dunbarの法則に収まるように保証する高次元漸近的設定を導入。$K = N \log^{-5} N$ とする。
• ノード対 $(i,j)$ が誤分類されているが、共通の隣接ノード $k$ を持ち、その接続パターンが著しく異なる場合に、それを識別することで、洗練されたパーティション $\Pi^{*}$ を定義する。
• ブロック間ノード対を新たな別グループとして扱うことで推定を安定化させる正則化パーティション $\Pi^{zR}$ を構築する。
• 接続パターンの乖離度 $D(P_{ik} \| \frac{P_{ik}+P_{jk}}{2})$ が $MK/N^2$ に比例する閾値を超えるような三つ組 $(i,j,k)$ の集合 $T$ を用いて、$\Pi^{zR}$ の洗練を施す。
• 誤差率を $N_e(\hat{z}^R)/N = o_p(1)$ を用いて、対数尤度差 $\bar{L}_P(\tilde{z}) - \bar{L}_P^R(\hat{z}^R)$ で抑え込む。
• 三つ組に基づく洗練アプローチを用いて、正則化推定器が誤差を制御的に洗練させることで、非正則化推定器を上回ることを示す。

実験結果

リサーチクエスチョン

• RQ1 ブロック数 $K$ が $N/\log^5 N$ に比例して増加する確率的ブロックモデルにおいて、理論的最大値に近い状況でも一貫性が達成可能か？
• RQ2 高次元の確率的ブロックモデル（$K$ が $N$ と共に増加）において、正則化が推定性能をどのように向上させるか？
• RQ3 経験的ネットワークデータ（例：有界なブロックサイズ）から得られる構造的仮定を、一貫性を達成するために形式的にモデルに組み込む方法は何か？
• RQ4 極めて高次元の設定下で、$N \to \infty$ の極限において正則化最尤推定器が一貫性を示せるか？

主な発見

• 正則化最尤推定器は一貫性を示し、$N \to \infty$ の極限で誤分類ノードの割合が確率的にゼロに収束する。
• 漸近的設定により $K = N \log^{-5} N$ を許容でき、$K > N$ が非現実的になるまでの最大の増加率である。
• 誤差率は対数尤度差により抑え込まれる：$\bar{L}_P(\tilde{z}) - \bar{L}_P^R(\hat{z}^R) = \Omega(M) \cdot \frac{N_e(\hat{z}^R)}{N}$ であり、これにより $N_e(\hat{z}^R)/N = o_p(1)$ が得られる。
• 三つ組 $(i,j,k) \in T$ に基づく洗練プロセスにより、接続パターンが著しく異なるノードが分離され、クラスタリング精度が向上する。
• 正則化パーティション $\Pi^{zR}$ はブロック間ノード対を別グループとして扱うことで、尤度を安定化させ、高次元的成長下でも一貫性を達成可能にする。
• 本稿は、パrametricネットワークモデルにおける統計的正則化の利点を明示的に示した最初の論文であり、高次元ネットワーククラスタリングの新しい理論的基盤を確立した。