[論文レビュー] A Poisson Gamma Probabilistic Model for Latent Node-group Memberships in Dynamic Networks

Sikun Yang, Heinz Koeppl|arXiv (Cornell University)|May 28, 2018

Complex Network Analysis Techniques参考文献 24被引用数 13

ひとこと要約

本稿では、時間発展ネットワークにおける潜在的ノード-グループ所属関係を、マルコフ連鎖を介して変化するガンマ分布に従う所属度でモデル化する動的ポアソン-ガンマモデルを提案する。効率的なバッチおよびオンラインギブスサンプリングにより推論が行われ、非ゼロエッジに比例してスケーリングされ、合成データおよび実世界のデータにおいてリンク予測とグループ検出の面で最先端のモデルを上回り、スリッピング機構により自動的に最適なグループ数を同定する。

ABSTRACT

We present a probabilistic model for learning from dynamic relational data, wherein the observed interactions among networked nodes are modeled via the Bernoulli Poisson link function, and the underlying network structure are characterized by nonnegative latent node-group memberships, which are assumed to be gamma distributed. The latent memberships evolve according to Markov processes. The optimal number of latent groups can be determined by data itself. The computational complexity of our method scales with the number of non-zero links, which makes it scalable to large sparse dynamic relational data. We present batch and online Gibbs sampling algorithms to perform model inference. Finally, we demonstrate the model's performance on both synthetic and real-world datasets compared to state-of-the-art methods.

研究の動機と目的

• ノードの役割が時間とともに変化する時間発展ネットワークにおけるノード-グループ所属関係の動的変化をモデル化すること。
• すべてのノードペアではなく非ゼロエッジに比例してスケーリングする、計算効率の高い推論手法を開発し、大規模なスパースネットワーク解析を可能にすること。
• 複数のグループへの所属度を反映する非負で連続的なノード-グループ所属強度を許容すること。
• ガンマ事前分布構造におけるスリッピング機構により、潜在的グループ数をデータから自動的に同定すること。
• 所属関係の時間的変化を明示的にモデル化することで、リンク予測およびコミュニティ検出の性能を向上させること。

提案手法

• ノード-グループ所属関係は、非負性と時間的滑らかさを保証するガンママルコフ連鎖を介して時間発展するガンマ分布確率変数としてモデル化される。
• ベルヌーイ-ポアソンリンク関数により、観測されたバイナリーエッジが潜在的ポアソンカウントにマッピングされ、計算コストが全ノードペアN²ではなく非ゼロエッジに比例して低減される。
• グループ間相互作用重みは、ガンマ分布に従うグループ重みと相互作用パラメータを用いた階層的モデルで記述され、グループ内およびグループ間リンクに対して別々の事前分布が設定される。
• データ拡張および周辺化技術により、後部確率推論のための効率的ギブスサンプリングが可能となり、バッチおよびオンラインの両バージョンがスケーラビリティを実現する。
• グループ重みにスリッピングを促進する事前分布を用いることで、Kが増加するにつれて不要なグループが自動的に削除される。
• オンラインギブスサンプラーはミニバッチでデータを処理し、大規模なスパースな時間発展ネットワークにおけるリアルタイムまたはストリーミング推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 確率的モデルは、時間発展ネットワークにおけるノード-グループ所属関係の時間的変化を効果的に捉えることができるか？
• RQ2 潜在的グループ所属関係を、異なる程度の所属を反映する連続的かつ非負の値としてどのようにモデル化できるか？
• RQ3 手動のチューニングなしに、データから潜在的グループ数を自動的に同定できるか？
• RQ4 ギブスサンプリングを用いたポアソン-ガンマモデルは、既存の手法に比べてリンク予測およびコミュニティ検出において優れているか？
• RQ5 計算コストを、すべての可能なノードペアではなく非ゼロエッジに比例して低減できるか？

主な発見

• DPGMモデルはEnronデータセットで最高のAUC-ROC（0.983 ± 0.001）およびAUC-PR（0.398 ± 0.006）を達成し、DRIFT、D-GPPF、HGP-EPMを上回った。
• NIPSデータセットでは、DPGMはAUC-ROC 0.930 ± 0.002およびAUC-PR 0.129 ± 0.004を達成し、さまざまな指標で優れた性能を示した。
• オンラインギブスサンプラーはNIPS 70データセットで1イテレーションあたり0.1283秒の計算時間を達成し、DRIFT（11.7秒）よりも顕著に高速であり、D-GPPFと競合する性能を示した。
• 合成データ上では、グループの分裂や合体といった動的変化を効果的に捉え、時間経過に伴うノード-グループ所属関係の滑らかで正確な変化を再現した。
• スリッピング機構により、K=50で初期化された場合でさえも不要なグループが効果的に削除された。これは、自動的なグループ数同定の有効性を裏付けた。
• DPGMはHGP-EPMのような静的モデルよりも優れた性能を示し、所属関係の時間的変化を明示的にモデル化したことがリンク予測における重要性を実証した。