[論文レビュー] Model selection and clustering in stochastic block models with the exact integrated complete data likelihood

Étienne Côme, Pierre Latouche|arXiv (Cornell University)|Mar 12, 2013

Complex Network Analysis Techniques参考文献 41被引用数 15

ひとこと要約

本稿では、大規模なネットワークにおけるモデル選択およびクラスタリングを改善するために、正確な統合完全データ尤度（ICL）を最大化する貪欲な推論アルゴリズムを、ストークスティック・ブロック・モデル（SBM）に提案する。マルコフ連鎖モンテカルロ（MCMC）サンプリングを回避することで、従来の手法よりも高速な収束性と高い正確性を達成し、特に大規模ネットワークにおけるクラスタ数の過剰推定を回避する点で優れる。

ABSTRACT

The stochastic block model (SBM) is a mixture model used for the clustering of nodes in networks. It has now been employed for more than a decade to analyze very different types of networks in many scientific fields such as Biology and social sciences. Because of conditional dependency, there is no analytical expression for the posterior distribution over the latent variables, given the data and model parameters. Therefore, approximation strategies, based on variational techniques or sampling, have been proposed for clustering. Moreover, two SBM model selection criteria exist for the estimation of the number K of clusters in networks but, again, both of them rely on some approximations. In this paper, we show how an analytical expression can be derived for the integrated complete data log likelihood. We then propose an inference algorithm to maximize this exact quantity. This strategy enables the clustering of nodes as well as the estimation of the number clusters to be performed at the same time and no model selection criterion has to be computed for various values of K. The algorithm we propose has a better computational cost than existing inference techniques for SBM and can be employed to analyze large networks with ten thousand nodes. Using toy and true data sets, we compare our work with other approaches.

研究の動機と目的

• 大規模ネットワークにおけるストークスティック・ブロック・モデル（SBM）のクラスタ数の過剰推定という、MCMCに基づく推論の一般的な問題に対処すること。
• 大規模なSBM推論における悪く混合する問題や低い受容率を回避する、計算的に効率的なMCMCサンプリングの代替手法を開発すること。
• 正確な統合完全データ尤度（ICL）を最大化することで、同時にクラスタリングとモデル選択を可能にする。
• 数万ノードおよび数百万エッジを有するネットワークに対してスケーラブルな解決策を提供し、既存手法の収束問題を克服すること。
• 既存のSBM推論技術と比較して、コミュニティ検出および非同調的混合構造の回復における正確性を向上させること。

提案手法

• 本手法は、確率的サンプリングの代わりに決定的最適化を用いるために、正確な統合完全データ対数尤度（ICL）を目的関数として用いる。
• ノードラベルの入れ替え、クラスタの統合、クラスタの削除といった局所的移動を、ベータ関数B(·,·)およびガンマ関数を用いた正確なICL変化の計算によって実行する。
• 各ノードについて、時間計算量O(l_i + K²)で、すべての可能なラベル入れ替えを評価する。ここでl_iはノードの次数、Kはクラスタ数を表す。
• ICLの変化は、エッジ数の変化とクラスタサイズの更新を考慮した、閉形式の式を用いて計算される。
• クラスタの作成および削除は、統合または削除時のICL変化を評価することで動的に処理され、適切な正規化定数が用いられる。
• 貪欲戦略により、ICLの向上が得られる最良の移動（入れ替え、統合、削除）を繰り返し適用し、局所最適解への収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 正確な統合完全データ尤度に基づく貪欲な推論アルゴリズムは、大規模ネットワークにおけるクラスタリングの正確性とモデル選択において、MCMCに基づく手法を上回ることができるか？
• RQ2 提案手法は、MCMCに基づくSBM推論でよく見られるクラスタ数の過剰推定を回避するのか？
• RQ3 貪欲なICL最大化の計算複雑度は、大規模ネットワークへのスケーラビリティという観点から、既存のSBM推論手法と比較してどうなるか？
• RQ4 本手法は、実世界のネットワークにおけるコミュニティ構造および非同調的混合パターンの回復に、どの程度の程度まで成功するか？
• RQ5 本手法は、数万ノードおよび数百万エッジを有するネットワークに、収束問題を伴わずに効果的に適用可能か？

主な発見

• 貪欲なICL最大化アルゴリズムは、特に真のクラスタ数の回復において、既存手法に比べて優れたクラスタリング正確性を達成した。
• MCMCに基づくSBM推論でよく見られるクラスタ数の過剰推定という問題を、大きなサンプルサイズ下でも回避した。
• アルゴリズムは大規模ネットワークに効率的にスケーリングでき、数万ノードおよび数百万エッジのネットワークを収束問題なく処理できた。
• ラベル入れ替えの計算コストはノードあたりO(l_i + K²)であり、大規模応用に実用的である。
• 実世界のコミックおよびイラスト関連のブログネットワークでは、テーマ的コンテンツと整合する意味のあるコミュニティ構造を効果的に同定した。
• 正確なICL計算により、ヒューリスティックな代替手法よりも、最適なクラスタ数を識別する能力が優れていた。