[論文レビュー] Multivariate Hawkes Processes for Large-scale Inference

Rémi Lemonnier, Kevin Scaman+1 more|arXiv (Cornell University)|Feb 26, 2016

Point processes and geometric inequalities被引用数 9

ひとこと要約

本稿では、スケーラブルな大規模多変量点過程推論のためのフレームワークである低ランクハーケス過程（LRHP）を提案する。この手法は、発火カーネルの低ランク近似を用いることで、計算複雑性を $O(nd^2)$ から $O(ndr^2)$ に低減する。ここで $r \ll d,n$ である。この方法により、非パrametric推定が効率的に行える一方で、合成データおよび実世界のデータ（大規模なソーシャルおよび金融イベントデータを含む）において高い予測精度を維持する。

ABSTRACT

In this paper, we present a framework for fitting multivariate Hawkes processes for large-scale problems both in the number of events in the observed history $n$ and the number of event types $d$ (i.e. dimensions). The proposed Low-Rank Hawkes Process (LRHP) framework introduces a low-rank approximation of the kernel matrix that allows to perform the nonparametric learning of the $d^2$ triggering kernels using at most $O(ndr^2)$ operations, where $r$ is the rank of the approximation ($r \ll d,n$). This comes as a major improvement to the existing state-of-the-art inference algorithms that are in $O(nd^2)$. Furthermore, the low-rank approximation allows LRHP to learn representative patterns of interaction between event types, which may be valuable for the analysis of such complex processes in real world datasets. The efficiency and scalability of our approach is illustrated with numerical experiments on simulated as well as real datasets.

研究の動機と目的

• 高イベント数（$n$）と高次元性（$d$）を特徴とする大規模データセットにおいて、従来の多変量ハーケス過程推論手法の計算上の非現実性に対処すること。
• 多変量ハーケス過程における $d^2$ 個の発火カーネルのスケーラブルな非パrametric推定フレームワークの開発。
• カーネル行列の低ランク分解を通じて、イベントタイプ間の代表的な相互作用パターンの効率的学習を可能にすること。
• $n$ および $d$ に対して線形時間の複雑性を達成しながら、最先端の予測精度を維持すること。
• 構造的で現実的なデータセットにおいて、利用可能なネットワークスパarsityを活用してスケーラビリティをさらに向上させること。

提案手法

• 発火カーネル行列 $d \times d$ の低ランク近似を提案し、パラメータ数を $d^2$ から $O(dr)$ に削減する。
• $d \times r$ の投影行列 $P$ を用いて、発火カーネルを $r$ 個の指数的基底関数の線形結合としてモデル化する。
• ミニマイズ・マキマイズ法と自己共鳴的最適化技術を用いて、$O(ndr^2)$ の複雑性を持つ効率的な推論アルゴリズムを導出する。
• 反復的最適化プロセスにおける低ランクパラメータの収束を保証するための補助関数を導入する。
• 相互作用グラフが既知の場合に、スパarsityを活用するためのネットワーク構造（例：隣接行列 $A$）を組み込む。
• シミュレーションおよび実世界のデータセット（ソーシャルメディアおよび金融取引データを含む）にアルゴリズムを適用し、スケーラビリティと正確性を検証する。

実験結果

リサーチクエスチョン

• RQ1 発火カーネル行列の低ランク近似は、予測精度を損なわずに多変量ハーケス過程推論の計算複雑性を顕著に低減できるか？
• RQ2 低ランク構造は、現実的で高次元のデータセットにおけるイベントタイプ間の代表的相互作用パターンをどれほど正確に捉えることができるか？
• RQ3 提案された LRHP アルゴリズムは、$O(nd^2)$ 複雑性を持つ最先端手法と比較して、$n$ や $d$ が大きい場合にどれほどスケーラブルに動作するか？
• RQ4 アルゴリズムは、ソーシャルメディアのイベントストリームや金融取引ログなどの実世界データセットにおいても高い性能を維持するか？
• RQ5 相互作用ネットワークのスパarsityを効果的に活用することで、計算効率をさらに向上させることができるか？

主な発見

• LRHP アルゴリズムは $O(ndr^2)$ の計算複雑性を達成しており、既存の最先端手法の $O(nd^2)$ 複雑性と比べて顕著な改善を示す。
• 合成データセットでは、LRHP はフルランク手法と同等の精度で真の発火カーネルを回復するが、速度は桁違いに速い。
• MT 3 実世界データセットでは、最良のベースライン（MMEL）と比較して予測性能が1%以内の差に抑えられ、かつはるかに高速であった。
• 低ランク分解は、MT 3 データセットの低次元埋め込みを可視化することで、意味のあるイベントタイプ間の相互作用パターンを的確に捉えていることが示された。
• 元の相互作用ネットワークが提供されている場合、アルゴリズムはスパarsityを完全に活用し、計算時間をさらに短縮し、より大きなグラフへのスケーラビリティを実現した。
• 実験結果により、LRHP はソーシャルメディアや金融取引ログを含む多様なデータセットにおいて、高い推論および予測精度を維持しながら、大規模な $n$ および $d$ へのスケーリングが可能であることが確認された。