[論文レビュー] Scalable MCMC for Mixed Membership Stochastic Blockmodels

Wenzhe Li, Sungjin Ahn+1 more|arXiv (Cornell University)|Oct 16, 2015

Stochastic Gradient Optimization Techniques被引用数 13

ひとこと要約

本稿では、スケーラブルなベイジアン推論を実現するため、混合-membership ストキャスティック・ブロックモデル（a-MMSB）に適応した確率的勾配リーマン多様体ランジュバンダイナミクス（SGRLD）アルゴリズムを提案する。この手法により、ミニバッチデータを用いて大規模ネットワークからの有効なサンプリングが可能となり、従来の確率的変分ベイズ推論（SVI）と比較して収束が速く、周辺度も低くなる。さらに、特筆すべきスパarsityに配慮した近似手法を導入し、正確性を損なわずにメモリ使用量を最大50%まで削減できる。

ABSTRACT

We propose a stochastic gradient Markov chain Monte Carlo (SG-MCMC) algorithm for scalable inference in mixed-membership stochastic blockmodels (MMSB). Our algorithm is based on the stochastic gradient Riemannian Langevin sampler and achieves both faster speed and higher accuracy at every iteration than the current state-of-the-art algorithm based on stochastic variational inference. In addition we develop an approximation that can handle models that entertain a very large number of communities. The experimental results show that SG-MCMC strictly dominates competing algorithms in all cases.

研究の動機と目的

• 数百万ノードおよびコミュニティを含む大規模ネットワークにおけるベイジアン推論のスケーラビリティ課題に対処する。
• 大規模ネットワークデータに対する効率的でストリーミング型の推論を可能にする、確率的勾配MCMC手法を開発する。
• コミュニティ検出において、より高い精度とより速い収束を達成する点で、既存の確率的変分ベイズ推論（SVI）を改善する。
• 大規模なKおよびNに対して、メモリ複雑度をO(KN)からO(K)に削減するスパarsity近似を導入する。
• Friendster（20億エッジ）のような大規模ネットワークにおいて、分散実装を用いて完全なベイジアン推論を可能にする。

提案手法

• a-MMSBモデルに確率的勾配リーマン多様体ランジュバンダイナミクス（SGRLD）を適応し、勾配推定にノードおよびエッジのミニバッチを用いる。
• 代表的かつ低分散の勾配推定を確保するため、ストラティファイドランダムノードサンプリングを用いてミニバッチを選択する。
• 各ノードの最も確率の高いコミュニティのみを保持する、しきい値ベースのスパarsity近似を組み込み、メモリ使用量を削減する。
• 漸近的に真の事後分布に収束するように、減少するステップサイズを用いたリーマン多様体ランジュバン確率微分方程式（SDE）を適用する。
• ノード所属π、コミュニティ強度β、潜在的所属zの事後分布の連携構造を活用し、確率的勾配を用いてパラメータを同時に更新する。
• 1イテレーションごとにエッジおよびノードのミニバッチを用いることで、計算コストをO(N²)からO(n²K)に削減する（nはミニバッチサイズ）。

実験結果

リサーチクエスチョン

• RQ1 大規模ネットワークにおけるコミュニティ検出において、確率的勾配MCMCは、速度と正確性の両面で確率的変分ベイズ推論（SVI）を上回ることができるか？
• RQ2 提案されたSGRLDアルゴリズムは、ネットワークサイズおよびコミュニティ数の増加に伴い、どのようにスケーリングするか？
• RQ3 スパarsity近似は、大規模a-MMSBモデルにおけるメモリ効率と推論正確性にどのような影響を及ぼすか？
• RQ4 ステップサイズおよびミニバッチサイズは、SG-MCMCアルゴリズムの収束性と分散にどのように影響するか？
• RQ5 Friendsterのような10億エッジ規模のネットワークにおける完全なベイジアン推論を、効果的に分散化可能か？

主な発見

• SG-MCMCは、すべてのイテレーションおよびデータセットにおいて、SVIよりも厳密に低い周辺度を達成し、優れた正確性とより速い収束を示した。
• 提案されたSGMC-M近似により、メモリ使用量が完全なSGMC手法の半分（50%の削減）にまで削減されたが、性能は同等を維持した。
• τ = 0.9またはτ = 1.0の場合、しきい値ベースのスパarsity近似は、メモリ効率と正確性の最適なトレードオフを達成した。
• US-AIRデータセットでは、ステップサイズ0.01が最良のパフォーマンスを示し、バイアスと混合速度の明確なトレードオフが確認された。
• 合成データではミニバッチサイズm = 5が最適なパフォーマンスを示したが、US-AIRではm = 20が最良であった。これは、データセット依存の最適サンプリングサイズを示している。
• アルゴリズムは最大20億エッジのネットワークにスケーリング可能であり、Friendsterネットワークにおいても初期結果として良好な収束性と低い周辺度が得られた。