[論文レビュー] Scalable Link Prediction in Dynamic Networks via Non-Negative Matrix Factorization

Linhong Zhu, Guo, Dong+3 more|arXiv (Cornell University)|Nov 13, 2014

Complex Network Analysis Techniques参考文献 57被引用数 68

ひとこと要約

本稿では、時系列的滑らかさ制約を伴う非負値行列分解（NMF）を用いて、スケーラブルな時系列潜在空間モデルを動的リンク予測のために提案する。3つの最適化アルゴリズム（グローバル、ローカル、インクリメンタル BCGD）を導入し、大規模な動的ネットワークにおける効率的な推論を可能にし、実世界のデータセットにおいて、スケーラビリティと予測精度の両面で先行手法を顕著に上回る。

ABSTRACT

We propose a scalable temporal latent space model for link prediction in dynamic social networks, where the goal is to predict links over time based on a sequence of previous graph snapshots. The model assumes that each user lies in an unobserved latent space and interactions are more likely to form between similar users in the latent space representation. In addition, the model allows each user to gradually move its position in the latent space as the network structure evolves over time. We present a global optimization algorithm to effectively infer the temporal latent space, with a quadratic convergence rate. Two alternative optimization algorithms with local and incremental updates are also proposed, allowing the model to scale to larger networks without compromising prediction accuracy. Empirically, we demonstrate that our model, when evaluated on a number of real-world dynamic networks, significantly outperforms existing approaches for temporal link prediction in terms of both scalability and predictive power.

研究の動機と目的

• 時間の経過とともに構造が変化する動的ソーシャルネットワークにおける、スケーラブルかつ正確なリンク予測の課題に対処すること。
• ユーザー行動や関係性の変化を反映するように、低次元の潜在空間におけるノード位置の時系列的変化をモデル化すること。
• 数百万ノードおよびエッジを含む大規模ネットワークにスケーリングしつつも、高い予測性能を維持する最適化アルゴリズムを開発すること。
• 潜在位置の急激な変化を防ぐために時系列的滑らかさを組み込むことで、一般化性能の向上と歴史的情報の有効活用を図ること。
• 低ランクNMFとインクリメンタルかつ並列化可能な更新を活用することで、効率的なオンライン予測を可能にすること。

提案手法

• リンク確率が時系列的に滑らかに変化する低次元の潜在空間内でのノード間の近接度に依存する時系列潜在空間モデルを定式化する。
• 非負値行列分解（NMF）を用いて、時間経過に伴う隣接行列の低ランク表現を学習し、非負性とスパarsityを強制する。
• 連続する時間ステップ間でのノード位置の変化を正則化する時系列的滑らかさペナルティを導入する。
• 3つの推論アルゴリズムを提案：最適収束を実現するグローバルBCGD、計算量を削減するローカルBCGD、リアルタイムスケーラビリティを実現するインクリメンタルBCGD。
• ノードが近隣を共有しない場合に並列化が可能なブロック座標勾配降下更新を設計し、計算効率を向上させる。
• 次元削減を適用して、モデルの正確性と計算コストのバランスをとる。潜在空間次元は調整可能である。

実験結果

リサーチクエスチョン

• RQ1 滑らかさを伴う時系列潜在空間モデルは、静的モデルと比較して、動的ネットワークにおけるリンク予測精度を向上させることができるか？
• RQ2 非負値行列分解（NMF）は、大規模ネットワークにおけるスケーラビリティを維持しつつ、時系列的ダイナミクスをどのように適応可能にすることができるか？
• RQ3 グローバル、ローカル、インクリメンタルといった最適化戦略の中で、動的リンク予測において予測性能と計算効率のバランスを最もよく保つのはどれか？
• RQ4 潜在位置に時系列的滑らかさを課すことによって、一般化性能が向上し、現在のネットワークスナップショットへの過学習がどれほど軽減されるか？
• RQ5 提案手法は、数百万ノードおよびエッジを含む実世界の動的ネットワークにスケーリング可能であり、高い予測能力を維持できるか？

主な発見

• 提案モデルは、実世界の動的ネットワークにおいて、既存の静的および動的リンク予測手法を顕著に上回る予測精度を達成する。
• インクリメンタルBCGDアルゴリズムは高いスケーラビリティを実現し、数百万ノードおよびエッジを含む大規模ネットワークにおける効率的なオンライン推論を可能にする。
• 時系列的滑らかさ制約により、現在のスナップショットへの過学習が軽減され、より安定的かつ一般化可能な潜在空間表現が得られる。
• ローカルおよびインクリメンタルBCGDの変種は、グローバルBCGDと同等の予測精度を維持しながら、計算コストを著しく削減する。
• モデルは多様なネットワークトポロジーにわたり頑健な性能を示し、ネットワークサイズおよび密度の増加に伴い効果的にスケーリングする。
• 低ランクNMFと次元制御を組み合わせることで、モデルの正確性と計算効率の間で調整可能なトレードオフが実現できる。