[論文レビュー] Bayesian Model Selection of Stochastic Block Models

Xiaoran Yan|ArXiv.org|May 23, 2016

Bayesian Methods and Mixture Models被引用数 5

ひとこと要約

本稿では、ストークスティックブロックモデル（SBM）およびデグリーモディファイドブロックモデル（DC-SBM）のためのベイジアンモデル選択フレームワークを提案し、ブロック数が異なるモデル同士の原理的比較を可能にする。ベイジアン情報量基準（BIC）を導出し、最小記述長（MDL）原理と結びつけることで、データが複雑性の増加を正当化しない場合にはより単純なモデルを好む普遍的なフレームワークを提供する。合成ネットワークおよび実世界のネットワークを用いた実証的検証により、優れたモデル選択の正確性が示された。

ABSTRACT

A central problem in analyzing networks is partitioning them into modules or communities. One of the best tools for this is the stochastic block model, which clusters vertices into blocks with statistically homogeneous pattern of links. Despite its flexibility and popularity, there has been a lack of principled statistical model selection criteria for the stochastic block model. Here we propose a Bayesian framework for choosing the number of blocks as well as comparing it to the more elaborate degree- corrected block models, ultimately leading to a universal model selection framework capable of comparing multiple modeling combinations. We will also investigate its connection to the minimum description length principle.

研究の動機と目的

• ストークスティックブロックモデル（SBM）およびその変種における原理的統計的モデル選択基準の欠如に対処すること。
• 異なるブロック数に対してSBMとDC-SBMの間で公平な比較が可能なベイジアンフレームワークの開発。
• 複数のモデル順序の組み合わせを比較可能な普遍的なモデル選択アプローチの確立。
• ベイジアンアプローチを情報理論的モデル選択と整合性を持つ最小記述長（MDL）原理と結びつけること。
• 合成ネットワークおよび実世界のネットワーク（カレッジの空手部および政治的ブログデータセットを含む）に対してフレームワークを実証的に検証すること。

提案手法

• ラティントパラメータを統合し、ラプラス法を用いて周辺尤度を近似することで、バニラSBMのベイジアン情報量基準（BIC）を導出する。
• デグリーモディフィードSBM（DC-SBM）へのBICの一般化。度数の不均一性を反映する追加パラメータを組み込む。
• バニラSBMにおける期待差分を差し引くことで、DC-SBMの対数尤度を正規化し、異なるモデル間での直接比較を可能にする。
• 導出されたBICとMDL原理との等価性を確立し、情報理論的モデル選択と理論的整合性を保証する。
• モンテカルロサンプリングを用いて実世界のネットワークの対数尤度を推定し、ブロック数にわたるモデル性能の実証的評価を可能にする。
• 異なるブロック数におけるSBMとDC-SBMの比較にフレームワークを適用し、正規化された事後対数尤度（log-ICL）が最大となるモデルを選択する。

実験結果

リサーチクエスチョン

• RQ1 ブロック数が異なるストークスティックブロックモデルに対して、原理的ベイジアンモデル選択フレームワークをどのように開発できるか。
• RQ2 周辺尤度に基づくベイジアンアプローチは、SBMおよびDC-SBMのモデルおよび順序選択において、頻度主義的手法をどの程度上回るか。
• RQ3 ネットワークモデルの文脈において、ベイジアンBICが最小記述長（MDL）原理と等価であることをどのように示せるか。
• RQ4 DC-SBMにおける度数補正の導入がモデル選択に与える影響は何か。また、どのような状況でバニラSBMよりも好ましいか。
• RQ5 カレッジの空手部および政治的ブログのような実世界のネットワークにおいて、提案されたフレームワークによれば最適なブロック数は何か。

主な発見

• 提案されたベイジアンフレームワークは、5つのブロックと二峰性度分布を持つ合成データに対して、バニラSBM（10ブロック）が最適モデルとして正しく同定した。
• カレッジの空手部ネットワークでは、普遍的ベイジアンフレームワークがk=4ブロックのバニラSBMを最適と特定し、度数の不均一性が不十分なためDC-SBMでさえもk=2のときよりも優れていることを示した。
• 政治的ブログネットワークでは、強い度数の不均一性とアソートティブ構造があるため、k=2のDC-SBMがすべてのk値においてバニラSBMを上回った。
• フレームワークの正規化手順により、異なるk値におけるSBMとDC-SBMの直接比較が可能になり、モデル選択の曖昧さが解消された。
• DC-SBMの導出されたBICには、ネットワークサイズに比例して増加する追加のペナルティ項が含まれており、度数補正を使用する際にはブロック数を減らす傾向を強化する。
• 実証的結果は、ベイジアンアプローチが政治的ブログネットワークのような状況では頻度主義的尤度比検定と整合しており、より包括的かつ原理的なモデル比較を提供することを確認した。