[論文レビュー] Clustering in networks with the collapsed Stochastic Block Model

Aaron F. McDaid, Thomas Brendan Murphy+2 more|arXiv (Cornell University)|Mar 14, 2012

Bayesian Methods and Mixture Models参考文献 33被引用数 4

ひとこと要約

本稿では、エッジ確率パラメータを周辺化することで、アロケーションサンプラーを用いた効率的なベイズ的クラスタリングを可能にする、縮約されたストークスティックブロックモデル（SBM）を提案する。クラスタ数に事前分布を置くことで、トランスディメンショナルMCMCを回避し、クラスタ数と所属関係を直接推定する。10,000ノードおよび数千万エッジを含むネットワークにおいて、高い正確性とスケーラビリティを達成する。

ABSTRACT

An efficient MCMC algorithm is presented to cluster the nodes of a network such that nodes with similar role in the network are clustered together. This is known as block-modelling or block-clustering. The model is the stochastic blockmodel (SBM) with block parameters integrated out. The resulting marginal distribution defines a posterior over the number of clusters and cluster memberships. Sampling from this posterior is simpler than from the original SBM as transdimensional MCMC can be avoided. The algorithm is based on the allocation sampler. It requires a prior to be placed on the number of clusters, thereby allowing the number of clusters to be directly estimated by the algorithm, rather than being given as an input parameter. Synthetic and real data are used to test the speed and accuracy of the model and algorithm, including the ability to estimate the number of clusters. The algorithm can scale to networks with up to ten thousand nodes and tens of millions of edges.

研究の動機と目的

• ノードの構造的役割に基づいて、スケーラブルかつ正確なベイズ的手法によるネットワークノードのクラスタリングを開発すること。
• エッジ確率パラメータを周辺化（コラプス）することで、トランスディメンショナルMCMCの必要性を排除し、事後分布推論を簡素化すること。
• クラスタ数に事前分布を置くことで、クラスタ数の直接推定を可能にし、ICLのような後処理のモデル選択基準の必要性を排除すること。
• エッジ重みにポアソン分布とガンマ分布の事前分布を用いることで、重み付きネットワークへのモデル拡張を実現すること。
• 合成ネットワークおよび実世界のネットワーク（大規模データセットも含む）において、高い性能を示すことを実証すること。

提案手法

• 縮約されたSBMは、共役事前分布（二値エッジの場合はベータ分布、重み付きエッジの場合はガンマ分布）を用いて、ブロック内エッジ確率パラメータ（πkl）を周辺化し、クラスタ割り当てとクラスタ数の周辺尤度を導出する。
• アロケーションサンプラーを用いて、クラスタ所属関係とクラスタ数を同時にサンプリングすることで、逆転ジャンプMCMCの複雑さを回避し、クラスタ数を確率変数として直接モデル化する。
• 二値エッジの場合、周辺尤度はベータ＝二項分布として導出され、πklの積分によりベータ関数の比が得られる。
• 重み付きエッジの場合、周辺尤度はガンマ＝ガンマの共役ペアを用いて導出され、合計エッジ重みと各ブロック内のノードペア数に依存するガンマ＝ガンマ周辺分布が得られる。
• 個々のエッジ値を保存せずに、各ブロックごとの十分統計量ykl（合計エッジ数）とpkl（ノードペア数）を用いて、周辺尤度を効率的に計算する。
• 本手法は二値ネットワークおよび重み付きネットワークをサポートしており、後者はエッジ重みにポアソンモデルを、レートパラメータにガンマ事前分布を用いる。

実験結果

リサーチクエスチョン

• RQ1 周辺化されたパラメータを有する縮約されたSBMは、トランスディメンショナルMCMCを回避しつつ、効率的かつ正確なネットワーククラスタリングを可能にするか？
• RQ2 クラスタ数に事前分布を置くことで、ICLのようなモデル選択基準を必要とせずにクラスタ数を直接推定できるか？
• RQ3 本手法は、数万ノードおよび数百万エッジを含む大規模ネットワークにどの程度スケーリングできるか？
• RQ4 ノイズレベルやクラスタ構造の異なる合成ネットワークにおいて、真のクラスタ構造を正確に回復できるか？
• RQ5 本手法は、サマースクールの社会的相互作用ネットワークのような実世界のネットワークデータにおいて、どの程度の性能を示すか？

主な発見

• 合成ネットワークにおいて、本アルゴリズムは真のクラスタ数に高い事後確率を割り当て、正確にクラスタ数を推定する。
• 合成テストにおいて、正しく割り当てられたノードに対して、事後確率が1.0に近い高い値を示し、ノードの正しいクラスタへの所属が高精度で推定される。
• 本アルゴリズムは、最大10,000ノードおよび1,000万エッジを含むネットワークに対しても、効率的にスケーリングされ、大規模ネットワークへの実用的妥当性が示された。
• アロケーションサンプラーを用いた縮約されたSBMは、計算速度面で標準的なSBMアプローチを上回り、逆転ジャンプMCMCの複雑さを回避する。
• 実世界のサマースクールの社会的ネットワークにおいて、意味のあるコミュニティ構造を効果的に同定し、実データへの実用的有効性を検証した。
• 共役事前分布の統合と周辺化により、計算負荷が顕著に低減されつつ、統計的正確性が保持された。