[論文レビュー] Nonparametric Multi-group Membership Model for Dynamic Networks

Myunghwan Kim, Jure Leskovec|arXiv (Cornell University)|Nov 8, 2013

Complex Network Analysis Techniques参考文献 30被引用数 28

ひとこと要約

本稿では、距離依存型インディアン・ブッフェ・プロセスとファクターリング・隠れマルコフモデルを用いて、グループの出生・死滅、ノードのグループ所属動態、グループ間接続性を統合的にモデル化する非パrametricな動的ネットワーク用のマルチグループ所属モデルを提案する。本モデルは、進化するグループ構造と時間的ダイナミクスを明示的にモデル化することで、リンク予測および将来のネットワーク予測において最先端の性能を達成する。

ABSTRACT

Relational data-like graphs, networks, and matrices-is often dynamic, where the relational structure evolves over time. A fundamental problem in the analysis of time-varying network data is to extract a summary of the common structure and the dynamics of the underlying relations between the entities. Here we build on the intuition that changes in the network structure are driven by the dynamics at the level of groups of nodes. We propose a nonparametric multi-group membership model for dynamic networks. Our model contains three main components: We model the birth and death of individual groups with respect to the dynamics of the network structure via a distance dependent Indian Buffet Process. We capture the evolution of individual node group memberships via a Factorial Hidden Markov model. And, we explain the dynamics of the network structure by explicitly modeling the connectivity structure of groups. We demonstrate our model's capability of identifying the dynamics of latent groups in a number of different types of network data. Experimental results show that our model provides improved predictive performance over existing dynamic network models on future network forecasting and missing link prediction.

研究の動機と目的

• 時間経過に伴い変化する潜在的グループ所属を捉えることで、ネットワーク構造の動的進化をモデル化すること。
• 従来のモデルが固定されたグループ数を仮定するという制限を克服するため、グループ数を適応的に学習する非パrametricなアプローチを導入すること。
• グループの存続期間とグループ間接続性を明示的にモデル化することで、リンク予測およびネットワーク予測の性能を向上させること。
• 現実のネットワークダイナミクスと整合する意味のある、時間的に変化するグループを特定することで解釈可能性を高めること。
• グループ内およびグループ間の関係を動的にモデル化することで、より柔軟かつ正確なネットワーク構造表現を可能にすること。

提案手法

• 距離依存型インディアン・ブッフェ・プロセス（dd-IBP）を用いて、時間経過に伴う潜在的グループの出生・死滅をモデル化し、無限個の潜在的グループを許容する。
• ファクターリング・隠れマルコフモデル（FHMM）を用いて、ノードの複数の重複するグループへの所属が時間的に変化する様子を捉える。
• ネットワーク接続性をグループ所属の関数としてモデル化し、リンクがグループ内およびグループ間の所属に依存するように設定する。
• グループダイナミクス、ノード所属の進化、ネットワーク構造を統合的に組み合わせた生成プロセスを確率的フレームワークとして統合する。
• MCMCに基づく推論を用いて、観測された動的ネットワークスナップショットから潜在的グループ所属、グループ存続期間、モデルパラメータを推定する。
• 各時刻におけるグループ所属インジケータに基づいて、二値の隣接行列をモデル化することで、有向および無向ネットワークの両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 時間変動するネットワークにおける潜在的グループの動的進化を、グループの出生・死滅を許容しながらどのようにモデル化できるか。
• RQ2 ノードごとに複数のグループ所属を許容する非パrametricモデルが、欠落リンクと将来のネットワーク状態の予測において、パラメトリックモデルを上回る性能を示せるか。
• RQ3 グループ接続性と存続期間を明示的にモデル化することで、グループダイナミクスを無視するモデルと比較して、予測性能がどの程度向上するか。
• RQ4 本モデルは、ソーシャルネットワークや物語ベースのネットワークのような現実のネットワーク物語と整合する解釈可能な時間的変化を示すグループをどの程度正確に特定できるか。
• RQ5 従来のモデルが苦戦するスパースなネットワークにおいても、本モデルは高い性能を維持できるか。

主な発見

• 提案された動的マルチグループ所属グラフモデル（DMMG）は、欠落リンク予測において最先端の性能を達成し、NIPSではAUC 0.916、INFOCOMではAUC 0.976を記録。LFPモデルのAUC（約0.85および約0.95）を上回った。
• 将来のネットワーク予測において、DMMGはINFOCOMデータセットで最高のAUC（0.804）とF1スコア（0.392）を達成し、DRIFTおよびLFRMを著しく上回った。
• DMMGはスパースなネットワークにおいて最も顕著な改善を示し、積極的なグループモデリングによる時間的情報の有効活用と、より高いロバストネスを示した。
• 『ロード・オブ・ザ・リング』のソーシャルネットワークにおける事例研究では、物語の主要なプロットラインに対応する3つの整合性のあるグループ（ローハン／アラゴングループ、フロド／サム／ゴルムグループ、マリー／ピピン／トゥルーベアンドグループ）を効果的に同定した。
• 時間t=2でマリーとピピンのグループが出現するといった、グループダイナミクスの捉え方の正確さが、物語的出来事と整合していることから、本モデルの解釈可能性と物語的整合性が裏付けられた。
• NIPSデータセットではDRIFTがより高い対数尤度を達成したが、DMMGはAUCおよびF1スコアの両面ですべてのベースラインを上回り、対数尤度がわずかに高い場合でも、優れた予測性能を示した。