[論文レビュー] Mixed membership stochastic blockmodels

Edoardo M. Airoldi, David M. Blei+2 more|arXiv (Cornell University)|May 30, 2007

Data Mining Algorithms and Applications参考文献 49被引用数 786

ひとこと要約

この論文は、各ノードが同時に複数の潜在グループに属することを許容することで、従来の確率的ブロックモデルを拡張した混合所属確率的ブロックモデル（MMSB）を紹介する。変分推論アルゴリズムを用いることで、MMSBは大規模な関係ネットワークにおいて高速かつスケーラブルな推論を可能にし、社会的ネットワークやタンパク質相互作用ネットワークにおいて、混合所属構造を改善されたモデル化で効果的に回復する。

ABSTRACT

Observations consisting of measurements on relationships for pairs of objects arise in many settings, such as protein interaction and gene regulatory networks, collections of author-recipient email, and social networks. Analyzing such data with probabilisic models can be delicate because the simple exchangeability assumptions underlying many boilerplate models no longer hold. In this paper, we describe a latent variable model of such data called the mixed membership stochastic blockmodel. This model extends blockmodels for relational data to ones which capture mixed membership latent relational structure, thus providing an object-specific low-dimensional representation. We develop a general variational inference algorithm for fast approximate posterior inference. We explore applications to social and protein interaction networks.

研究の動機と目的

• 従来の確率的ブロックモデルが単一グループ所属に制限されていることにより、関係データにおける多面的役割を捉えられないという問題に対処すること。
• 各ノードが複数の潜在グループに属することを許容する柔軟でスケーラブルなモデルを構築し、相互作用における現実世界の複雑さを反映すること。
• 変分推論アルゴリズムを用いて、高次元設定におけるMCMCの計算負荷を克服し、大規模ネットワークにおける高速な近似推論を可能にすること。
• 実世界の社会的ネットワークやタンパク質相互作用ネットワークにおける潜在グループ構造の同定に、このモデルの有効性を示すこと。
• 社会的ネットワークやシステム生物学を含む多様な分野に応用可能な、混合所属を伴う関係データのモデリングの一般枠組みを提供すること。

提案手法

• 各ノードの潜在グループへの所属をディリクレ分布に従うベクトルとして表現する生成モデルを提案し、混合所属を可能にする。
• ノードpとqの間の相互作用の確率を二重線形形式 $\vec{\pi}_p^T B \vec{\pi}_q$ としてモデル化する。ここで $B$ は潜在グループ間の相互作用確率を表す行列である。
• 潜在所属とグループ間相互作用パラメータの事後分布を近似するために、平均場変分推論アルゴリズムを採用する。
• 並列化可能なネスト型変分推論スキームを用いることで、大規模ネットワークにおける効率的な計算を実現する。
• 解釈可能性を維持し、予測やノイズ除去を可能にするために、相互作用固有の潜在変数 $ (\vec{z}_{p\rightarrow q}, \vec{z}_{p\leftarrow q}) $ を導入する。
• 階層的ディリクレ過程を用いて非パラメトリック拡張を可能にし、潜在グループ数が未知かつ無限である場合にも対応できるようにする。

実験結果

リサーチクエスチョン

• RQ1 複数のグループに混合所属を許容する潜在変数モデルは、単一所属モデルに比べて、関係ネットワークにおける複雑で多面的な役割をよりよく捉えられるか？
• RQ2 正確なベイズ推論が計算的に困難であることを踏まえ、このようなモデルに対して大規模な実世界ネットワークでスケーラブルな推論をどのように達成できるか？
• RQ3 MMSBモデルは、修道院内の派閥やタンパク質複合体といった、既知の構造的パターンをどの程度回復できるか？
• RQ4 例えば遺伝子から機能的文脈へのマッピングといった部分的な事前知識を、半教師あり設定で組み込むと、どのような影響を及ぼすか？
• RQ5 このモデルは、度数分布の歪みやハブを示すような、現実的な構造的性質を示すネットワークを生成できるか？それとも、このような特徴は本質的に制限されるか？

主な発見

• MMSBモデルは、合成ネットワークおよび実世界のネットワーク（特に明確なブロック構造を持つ学生の友人関係ネットワーク）において、混合所属と潜在的ブロック構造を効果的に回復した。
• タンパク質相互作用ネットワークにおいて、生物学的に意味のある機能的グループ化を特定し、既知の生物学的複合体と整合する潜在的役割を明らかにした。
• 変分推論アルゴリズムにより、大規模ネットワークにおける高速かつスケーラブルな推論が可能となり、実世界の応用において実用的であることが示された。
• 単一所属ブロックモデルに比べ、タンパク質が複数の機能的文脈に参加するような多面的役割を捉える点で優れた性能を示した。
• 相互作用固有の所属変数の事後分布は解釈可能な情報を保持しており、予測やノイズ除去、生物学的に有意な所属変化の同定に有用である。
• ハブや極めて歪んだ度数分布を示すネットワークの生成において、モデルの限界が見られた。これは、このような状況においては拡張が必要であることを示唆している。