[論文レビュー] A Tractable Fully Bayesian Method for the Stochastic Block Model

Kohei Hayashi, Takuya Konishi+1 more|arXiv (Cornell University)|Feb 6, 2016

Bayesian Methods and Mixture Models参考文献 33被引用数 8

ひとこと要約

本稿では、スチュアティックブロックモデル（SBM）に対して、クラスタ割り当ての推論とクラスタ数（K）のモデル選択を同時に実行する、取り扱いやすく完全ベイズ的な手法を提案する。この手法は、新規の要因分解漸近ベイズ（FAB）フレームワークを用い、外側のK候補に対するループを必要とせず、一貫性があり、スケーラブルかつ高精度な推論を達成する。

ABSTRACT

The stochastic block model (SBM) is a generative model revealing macroscopic structures in graphs. Bayesian methods are used for (i) cluster assignment inference and (ii) model selection for the number of clusters. In this paper, we study the behavior of Bayesian inference in the SBM in the large sample limit. Combining variational approximation and Laplace's method, a consistent criterion of the fully marginalized log-likelihood is established. Based on that, we derive a tractable algorithm that solves tasks (i) and (ii) concurrently, obviating the need for an outer loop to check all model candidates. Our empirical and theoretical results demonstrate that our method is scalable in computation, accurate in approximation, and concise in model selection.

研究の動機と目的

• スチュアティックブロックモデル（SBM）に対して、同時にクラスタ割り当ての推論とクラスタ数（K）のモデル選択を実行する完全ベイズ手法を開発すること。
• 従来の完全ベイズ手法が、すべてのK候補に対して周辺尤度を繰り返し計算する必要があるため生じるスケーラビリティの問題を解決すること。
• スパースなグラフにおいて、標準的なFAB近似がモデル特異性のため破綻する状況において、モデル選択の一貫性を向上させること。
• Kに対する外側のループを排除するため、モデル選択を推論プロセスに直接統合すること。
• 高い予測性能を維持しつつ、解釈可能で小さなK値を選び、モデルの正確性と単純さのバランスを図ること。

提案手法

• 本手法は、漸近的展開を用いて完全に周辺化された対数尤度を近似するための要因分解漸近ベイズ（FAB）フレームワークを採用する。
• 変分近似とラ플ラス法を組み合わせることで、密度のあるグラフおよびスパースなグラフの両方において、一貫性のあるモデル選択基準を導出する。
• 完全ベイズ推論のための新しい信念伝播（BP）ルールを導出する。このルールは、クラスタ割り当て間の相関を保持し、平均場近似よりも精度を向上させる。
• 目的関数に、解釈可能でモデルの単純さを促進する修正されたペナルティ項R₂を導入する。
• EMに類似した逐次最大化を閉形式で実行するため、ハイパーパramータのチューニングなしに効率的な最適化が可能になる。
• モデル選択は推論プロセスに統合されている：K_maxから開始し、アルゴリズムはより小さな最適なKに収束する。これにより、外部でのモデル比較の必要性がなくなる。

実験結果

リサーチクエスチョン

• RQ1 スパースなグラフにおいても、大標本の極限において一貫性があり、取り扱いやすい完全ベイズ手法が、SBMに対して可能か？
• RQ2 K候補に対する外側のループを必要とせずに、Kのモデル選択を事後分布推論プロセスにスムーズに統合する方法は何か？
• RQ3 完全ベイズSBMの文脈において、信念伝播（BP）が平均場近似と比較して、推論精度に与える影響は何か？
• RQ4 標準的な近似が失敗するスパースなグラフにおけるモデル特異性に対処するため、FABフレームワークはどのように適合可能か？
• RQ5 提案手法は、既存手法と比較して、モデルの正確性と単純さ（つまり、より小さなK）のバランスをより良く達成できるか？

主な発見

• F2ABは、8つの実世界ネットワークのうち5つで最高の正規化予測対数尤度（NPLL）を達成し、ICL、cICL、VB、FAB、FIC+BPを上回った。
• 「usaport」を除くすべてのデータセットで、F2ABは最小のクラスタ数（K）を選択した。FIC+BPと比較してK値が2〜4倍小さく、予測精度は同等または上回った。
• K=4が事前に埋め込まれた合成データにおいて、F2ABとFIC+BPは他の手法よりも正確かつ安定してK=4を検出できた。特にNが小さい場合に顕著だった。
• FIC+BPは、より良い推論（BP）のおかげでFABを予測性能で上回ったが、F2ABはR₂正則化を組み込んだ改善された目的関数のおかげで、予測性能とモデルの単純さの両方でFIC+BPを上回った。
• F2ABアルゴリズムは、他の手法と比較して局所最適解に陥りにくく、K_maxからの初期化とBPの使用により、スパースなグラフにおける依存関係をよりよく捉えていると考えられる。
• 本手法は、密度のあるグラフとスパースなグラフの両方で一貫した性能を示した。漸近的一致性の理論的根拠に加え、周辺尤度近似の誤差率も改善された。