[論文レビュー] Blockmodels: A R-package for estimating in Latent Block Model and Stochastic Block Model, with various probability functions, with or without covariates

Jean-Benoist Léger|arXiv (Cornell University)|Feb 24, 2016

Bayesian Methods and Mixture Models参考文献 9被引用数 21

ひとこと要約

この論文は、ベルヌーイ、ガウス、ポアソン分布を用いたさまざまな確率分布、および共変量を含むかどうかにかかわらず、潜在的ブロックモデル（LBM）とストークスティックブロックモデル（SBM）を推定するためのBlockmodels Rパッケージを紹介する。C++を用いたRcppArmadilloによる変分EMアルゴリズムを実装し、計算を高速化しており、ICL基準を用いた自動的なグループ数の選択をサポートし、並列処理とベクトル化演算を用いて数千ノード規模の大きなネットワークのスケーラブルな解析を可能にしている。

ABSTRACT

Analysis of the topology of a graph, regular or bipartite one, can be done by clustering for regular ones or co-clustering for bipartite ones. The Stochastic Block Model and the Latent Block Model are two models, which are very similar for respectively regular and bipartite graphs, based on probabilistic models. Initially developed for binary graphs, these models have been extended to valued networks with optional covariates on the edges. This paper present a implementation of a Variational EM algorithm for Stochastic Block Model and Latent Block Model for some common probability functions, Bernoulli, Gaussian and Poisson, without or with covariates, with some standard flavors, like multivariate extensions. This implementation allow automatic group number exploration and selection via the ICL criterion, and allow analyze networks with thousands of nodes in a reasonable amount of time.

研究の動機と目的

• 複雑なネットワークに適した柔軟で効率的なRパッケージを開発すること。
• ベルヌーイ、ガウス、ポアソンの複数の確率分布をサポートし、共変量を含むことで現実のネットワークデータのモデリングを向上させること。
• ICL基準を用いた最適なクラスタ数の自動選択を可能にし、モデルの頑健性と解釈可能性を向上させること。
• 最適化されたC++計算、ベクトル化演算、Rにおける並列実行を用いて、数千ノード規模の大きなネットワークに対するスケーラビリティを確保すること。
• 非計算的に重いタスクをRに統合し、CPU負荷の高い処理をC++にオフロードする、ユーザーフレンドリーなRインターフェースを提供すること。

提案手法

• 変分EMアルゴリズムをSBMおよびLBMに実装し、平均場近似を用いて計算が困難な後方分布の計算を簡略化する。
• RcppArmadilloを用いてC++コードとRをインターフェースし、大規模ネットワーク推定に不可欠な行列演算の高速化を実現する。
• ベルヌーイ（二値）、ガウス（連続）、ポアソン（カウント）の複数の尤度族をサポートし、共変量を含む・含まないの両方を扱える。
• 特にMステップにおいて閉形式解が利用可能な場合に、ベクトル化されたEステップおよびMステップの計算を適用し、効率性を向上させる。
• ICL基準を用いた自動的なグループ数の探索を実装し、グローバル最適解への収束を改善する再初期化戦略を統合する。
• Rのparallelパッケージを用いた並列処理により、複数の初期化を同時に実行し、信頼性と速度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 多様なエッジ分布を持つ大規模ネットワークに対して、ストークスティックブロックモデルと潜在的ブロックモデルをどのように効率的に推定できるか？
• RQ2 現実のネットワークにおいて、共変量の導入がSBMおよびLBMのモデル適合度と解釈可能性にどの程度向上効果をもたらすか？
• RQ3 事前に知識がなくとも、ICL基準による自動的なグループ数選択が、SBMおよびLBMにおいて最適なクラスタ数を信頼性高く特定できるか？
• RQ4 本実装の計算性能は、数千ノード規模のネットワークにおいて、モデルの複雑さに応じてどのようにスケーリングされるか？
• RQ5 ベルヌーイ、ガウス、ポアソンの異なる尤度族およびそれらの共変量付きバージョンは、推定速度と正確性の観点で、それぞれどのように性能を発揮するか？

主な発見

• Blockmodelsパッケージは、ベルヌーイ、ガウス、ポアソンの複数の確率分布、および共変量を含む・含まないの両方において、SBMおよびLBMの推定に成功している。
• 実行時間はモデルの複雑さに応じて数秒から数時間の範囲で変動する。例えば、200ノード、10グループ、共変量付きのポアソンモデルでは、平均で約3時間49分かかった。
• 独立成分を有するガウス多変量モデルは、最も高速な推定時間を達成した（100ノードで5秒、200ノードで1分3秒）、高い効率性を示した。
• ベクトル化演算と並列処理のおかげで、数千ノード規模のネットワークを扱い、モデルの複雑さに応じて良好にスケーリングできる。
• ICL基準を用いた自動グループ数選択は効果的であり、再初期化戦略により収束の安定性が向上した。
• C++による加速と効率的なメモリ管理のおかげで、柔軟性とモデルの可用性に優れた、従来のC++オンリーパッケージを上回るパフォーマンスを達成した。