[論文レビュー] Mixing Time of Metropolis-Hastings for Bayesian Community Detection

Bumeng Zhuo, Chao Gao|arXiv (Cornell University)|Nov 6, 2018

Complex Network Analysis Techniques参考文献 30被引用数 4

ひとこと要約

この論文は、最適な信号対雑音比条件の下でベイジアンコミュニティ検出に対して事後分布の強い一致性を確立し、期待次数が log n のオーダーであるとき、単一フラップ提案を持つシンプルなメトロポリス・ハスティングス法が急速に混合することを証明している。混合時間は O(n³ log n) である。解析は、スペクトルギャップを制御し、事後分布からの効率的なサンプリングを保証するために、標準経路の議論と事後比の境界に依存している。

ABSTRACT

We study the computational complexity of a Metropolis-Hastings algorithm for Bayesian community detection. We first establish a posterior strong consistency result for a natural prior distribution on stochastic block models under the optimal signal-to-noise ratio condition in the literature. We then give a set of conditions that guarantee rapid mixing of a simple Metropolis-Hastings algorithm. The mixing time analysis is based on a careful study of posterior ratios and a canonical path argument to control the spectral gap of the Markov chain.

研究の動機と目的

• メトロポリス・ハスティングス法のベイジアンコミュニティ検出における計算効率を分析すること。
• 特に期待次数が Θ(log n) のとき、最適な信号対雑音比条件下での事後分布の強い一貫性を確立すること。
• 単一フラップ提案を持つシンプルなメトロポリス・ハスティングス法の混合時間について理論的保証を与えること。
• 指数的状態空間があるにもかかわらず、迅速な混合が達成可能であることを示すこと。これは、混合時間が指数的に増加すると考えられていた信念に挑戦する。

提案手法

• ストークスティックブロックモデルにおいて、コミュニティラベル割り当てに一様事前分布、エッジ確率にベータ事前分布を用いる。
• 単一フラップ提案と、温度パラメータでスケーリングされた事後比に比例する受容確率を持つメトロポリス・ハスティングス法を採用する。
• マークフ・チェーンの状態グラフにおけるエッジの混雑度を制御することで、スペクトルギャップを境界づけ、迅速な混合を確立するために標準経路法を適用する。
• 遷移確率とチェーン収束の定量的境界を導出するために、事後比を注意深く分析する。
• 集中不等式とエントロピーに基づく境界を用いて、観測されたエッジ数と期待値のずれを制御する。
• ネットワークが真のストークスティックブロックモデルから生成されたものと仮定する頻度主義フレームワークを用いる。

実験結果

リサーチクエスチョン

• RQ1 ストークスティックブロックモデルにおけるコミュニティ検出の事後分布が、どのような条件下で強い一貫性を示すか？
• RQ2 単一フラップ提案を持つシンプルなメトロポリス・ハスティングス法は、ベイジアンコミュニティ検出において迅速に混合できるか？
• RQ3 期待次数が Θ(log n) のとき、メトロポリス・ハスティングスチェーンの混合時間は何か？
• RQ4 コミュニティ割り当ての状態空間が指数的であるにもかかわらず、多項式時間の混合が達成可能か？
• RQ5 ラベルに一様分布、エッジ確率にベータ分布を用いる事前分布の選択は、事後分布の集中と混合時間にどのように影響するか？

主な発見

• 期待次数が Θ(log n) のとき、事後分布の強い一貫性が成立し、これは最適であり、以前の Θ(log²n) 条件を改善する。
• 最適な信号対雑音比条件下で、単一フラップ提案を持つメトロポリス・ハスティングス法は、O(n³ log n) の混合時間で混合する。
• 標準経路の議論により、混雑度がうまく制御され、混合時間に多項式上界が得られた。
• 事後比の分析により、通常の構成と異常な構成が明確に分離されており、効率的な探索が可能であることが示された。
• ナイーブな直感とは対照的に、高次元設定においても迅速な混合が達成可能である。
• 理論的境界は、シミュレーテッドネットワーク上の数値実験によって検証され、競争力のある性能を示した。