[論文レビュー] Optimal Bayesian estimation in stochastic block models

Debdeep Pati, Anirban Bhattacharya|arXiv (Cornell University)|May 26, 2015

Bayesian Methods and Mixture Models参考文献 33被引用数 7

ひとこと要約

この論文は、クラスタ割り当てに多項分布-ディリクレ事前分布、エッジ確率に一様事前分布を用いる標準的なベイズ的事前分布を用いて、ストークスティックブロックモデルにおける最適な事後分布収縮率を確立した。低次元構造を有するパrameter空間の性質を活用するための幾何的埋め込み技術を開発し、標準的な事前分布がミニマックス最適収束率を達成することを証明した。

ABSTRACT

With the advent of structured data in the form of social networks, genetic circuits and protein interaction networks, statistical analysis of networks has gained popularity over recent years. Stochastic block model constitutes a classical cluster-exhibiting random graph model for networks. There is a substantial amount of literature devoted to proposing strategies for estimating and inferring parameters of the model, both from classical and Bayesian viewpoints. Unlike the classical counterpart, there is however a dearth of theoretical results on the accuracy of estimation in the Bayesian setting. In this article, we undertake a theoretical investigation of the posterior distribution of the parameters in a stochastic block model. In particular, we show that one obtains optimal rates of posterior convergence with routinely used multinomial-Dirichlet priors on cluster indicators and uniform priors on the probabilities of the random edge indicators. En route, we develop geometric embedding techniques to exploit the lower dimensional structure of the parameter space which may be of independent interest.

研究の動機と目的

• ストークスティックブロックモデル—ネットワークのランダムグラフモデルの主要クラス—における事後分布の漸近的挙動を理論的に調査すること。
• 標準的な事前分布が広く用いられているにもかかわらず、ストークスティックブロックモデルにおけるベイズ推定の理論的保証が不足しているという問題に取り組むこと。
• 日常的に用いられる事前分布（多項分布-ディリクレおよび一様分布）が、最小限の仮定のもとで最適な事後分布収縮率を達成することを確立すること。
• クラスタリングによって誘発されるパrameter空間の低次元構造を扱うための幾何的埋め込み技術を開発すること。
• 高次元ベイズ推論の分野におけるギャップを埋めるために、構造的スパarsityとコミュニティ構造を有するネットワークモデルへの事後分布収縮理論を拡張すること。

提案手法

• ノードのクラスタ割り当てに多項分布-ディリクレ事前分布、エッジ確率行列に一様事前分布を用いる階層ベイズモデルを用いる。
• パrameter空間を低次元多様体へ写像するための幾何的埋め込み技術を適用し、クラスタリング構造を活用する。
• 特異値のしきい値処理と楕円体型の濃度集合を用いて、真のパラメータの周囲の事後確率質量を制御する。
• 事前分布の濃度をバウンディングし、体積と確率のバウンディングを用いて真のパラメータを近傍集合と比較することで、事後分布収縮率を導出する。
• 楕円体の体積公式および楕円体内への長方形埋め込みを用いて、事後確率の下限および上限を導出する。
• 集中不等式およびガンマ関数のバウンディングを用いて、異なるクラスタ構成間での事前確率比を制御する。

実験結果

リサーチクエスチョン

• RQ1 ストークスティックブロックモデルにおける標準的なベイズ的事前分布が、ミニマックス最適収縮率を達成できるか？
• RQ2 ストークスティックブロックモデルのパラメータ空間における幾何的構造が、事後集中に果たす役割は何か？
• RQ3 ネットワーククラスタリングモデルにおける多項分布-ディリクレおよび一様事前分布の使用を理論的に正当化するにはどうすればよいか？
• RQ4 真のクラスタ数 $k$ を事前に知らない状況でも、ストークスティックブロックモデルにおいて事後分布収縮を確立できるか？
• RQ5 ミニマックスレートにおけるノンパラメトリックおよびクラスタリング成分が、事後分布収縮挙動にどのように現れるか？

主な発見

• 標準的な多項分布-ディリクレおよび一様事前分布のもとで、事後分布は最小限のレート $k^2/n^2 + \log k/n$ で収縮する。
• 幾何的埋め込み技術が、パラメータ空間の低次元構造を的確に活用し、事後集中バウンディングを導出するのに成功した。
• 長方形を楕円体に内接させる埋め込みにより、事後確率のバウンディングが可能となり、事前分布の濃度とテストの議論が実行可能になった。
• 真のクラスタ数 $k$ が既知であっても、事後収縮レートは最適であり、Gao ら（2014）のミニマックス下界と一致する。
• 分析から、クラスタ割り当ての事前分布を精密にチューニングする必要はなく、標準的な選択で十分に頻度的性能が達成可能であることが示された。
• 結果から、$k$ に事前分布を置く完全なベイズ的手法が、適応的事後収縮を達成可能であり、近似を介してグラフン推定へ拡張可能であると示唆された。