[論文レビュー] Learning Multivariate Hawkes Processes at Scale

Maximilian Nickel, Matthew Le|arXiv (Cornell University)|Feb 28, 2020

Point processes and geometric inequalities参考文献 38被引用数 10

ひとこと要約

本論文は、現実世界のイベント系列におけるスパarsityを活用することで、スケーラブルな多変量 Hawkes プロセス（MHPs）の学習手法を提案する。これにより、ネットワークサイズに依存しない正確な尤度および勾配計算が可能となり、予測性能は最先端水準に達し、スパースデータでは複数桁の高速化を達成する。その結果、大規模な拡散プロセスの解釈可能なモデリングが可能となる。

ABSTRACT

Multivariate Hawkes Processes (MHPs) are an important class of temporal point processes that have enabled key advances in understanding and predicting social information systems. However, due to their complex modeling of temporal dependencies, MHPs have proven to be notoriously difficult to scale, what has limited their applications to relatively small domains. In this work, we propose a novel model and computational approach to overcome this important limitation. By exploiting a characteristic sparsity pattern in real-world diffusion processes, we show that our approach allows to compute the exact likelihood and gradients of an MHP -- independently of the ambient dimensions of the underlying network. We show on synthetic and real-world datasets that our model does not only achieve state-of-the-art predictive results, but also improves runtime performance by multiple orders of magnitude compared to standard methods on sparse event sequences. In combination with easily interpretable latent variables and influence structures, this allows us to analyze diffusion processes at previously unattainable scale.

研究の動機と目的

• 大規模な拡散プロセスにおける多変量 Hawkes プロセス（MHPs）のスケーラビリティの制限を克服すること。
• 環境ネットワークの次元に依存しない、MHPsの正確な尤度および勾配計算を可能にすること。
• 現実世界のイベント系列に内在するスパarsityを活用して、計算複雑性を著しく低減すること。
• 数万のエンティティを含むデータセットにスケーリングする際、モデルの解釈可能性および影響構造の推論を維持すること。
• 合成および実世界のデータセット（政策拡散や Reddit ハイパーリンクネットワークを含む）において、最先端の性能と実行時間効率を示すこと。

提案手法

• イベント系列のスパarsityを活用するため、非負値行列分解を用いてMHPパラメータを因子分解する、新しいモデル「Lazy MHP」を導入する。
• |X|（エンティティ数）、|H|（イベント数）、E（ユニークなイベントペア数）を用いて、O(|X| + |H|·E) 時間で正確な対数尤度および勾配を計算する計算フレームワークを設計する。
• 励起行列 α を潜在的要因 u_x と v_y に非負値因子分解することで、影響構造の効率的かつ解釈可能なモデリングを可能にする。
• 全行列演算を回避し、観測されたイベント相互作用にのみ注目する、スパースなイベントベースの計算スキームを適用する。
• ミニバッチサンプリングを用いた確率的最適化を採用することで、大規模データセットへの学習スケーリングを実現しながら、収束性と正確性を維持する。
• Reddit ハイパーリンクのような、55,000以上のエンティティを含むデータセットですら、影響行列 α および潜在的要因 u_x, v_y の完全推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 現実世界のスパースなイベント系列において、多変量 Hawkes プロセスをスケーラブルに効率的に学習できるか？
• RQ2 イベント系列のスパarsityを活用することで、ネットワークサイズに依存しない正確な尤度計算が可能になるか？
• RQ3 提案手法は、顕著な高速化を達成しつつも、影響構造および潜在的要因の解釈可能性を維持できるか？
• RQ4 大規模データセットにおいて、既存手法と比較して予測精度と実行時間の両面で優れた性能を示せるか？
• RQ5 Reddit ハイパーリンクカスケードのような大規模な拡散プロセスにおいて、意味的でトピック的に一貫性のある潜在的構造を同定できるか？

主な発見

• 標準的なMHP推論と比較して、本手法はスパースな系列ですら、複数桁のトレーニング時間の高速化を達成した。
• 合成および実世界のデータセット（State Policy Innovation and Diffusion Database（SPID）を含む）において、最先端の予測性能を達成した。
• 55,000以上のエンティティと860,000件のイベントを含む Reddit ハイパーリンクデータセットにおいて、1エポックあたり約650秒でトレーニングが可能で、100エポック後には対数尤度が約 -9.1 に達した。
• 推論された影響行列 α および潜在的要因 u_x, v_y は、ニューヨーク州が周辺州に影響を与え、カリフォルニア州が西海岸で影響力を持つなど、明確な地域的・トピック的構造を示した。
• Redditにおいては、音楽、スポーツ、ゲームコミュニティなど、トピック的に一貫性のある潜在的コンポーネントを同定し、大規模スケールでの解釈可能性を実証した。
• 本手法により、従来のMHPでは不可能だった、728件の政策と2017年までの期間を含むSPIDデータベース全体の影響構造および潜在的要因の完全推論が可能になった。