[論文レビュー] Nonparametric Markovian Learning of Triggering Kernels for Mutually Exciting and Mutually Inhibiting Multivariate Hawkes Processes

Rémi Lemonnier, Nicolas Vayatis|arXiv (Cornell University)|May 16, 2014

Point processes and geometric inequalities参考文献 17被引用数 7

ひとこと要約

本稿では、多変量 Hawkes プロセスにおける相互作用的誘発核の学習を、指数関数的基底関数上の多項式近似を用いて非パラメトリックなマルコフ的アルゴリズムである MEMIP を提案する。対数尤度の凹型定式化により O(N) の計算量を達成し、合成データおよび実世界のデータにおいて、MMEL や指数関数的核と比較して、イベント予測および真の核ダイナミクスの回復の両面で優れた性能を発揮する。

ABSTRACT

In this paper, we address the problem of fitting multivariate Hawkes processes to potentially large-scale data in a setting where series of events are not only mutually-exciting but can also exhibit inhibitive patterns. We focus on nonparametric learning and propose a novel algorithm called MEMIP (Markovian Estimation of Mutually Interacting Processes) that makes use of polynomial approximation theory and self-concordant analysis in order to learn both triggering kernels and base intensities of events. Moreover, considering that N historical observations are available, the algorithm performs log-likelihood maximization in $O(N)$ operations, while the complexity of non-Markovian methods is in $O(N^{2})$. Numerical experiments on simulated data, as well as real-world data, show that our method enjoys improved prediction performance when compared to state-of-the art methods like MMEL and exponential kernels.

研究の動機と目的

• 大規模データにおける、相互に促進的かつ抑制的相互作用を有する多変量 Hawkes プロセスの学習という課題に対処すること。
• パラメトリックな形を仮定せずに、時間変動するバックグラウンドレートおよび一般化された誘発核を推定する非パラメトリック手法の開発。
• 正確な尤度のマルコフ的で凹型の定式化により、線形時間の対数尤度計算とグローバル収束を達成すること。
• MMEL や指数関数的核といった既存手法と比較して、特に抑制的相互作用や時間変動するバックグラウンドレートを伴う状況において、予測精度および核の回復性能の向上。

提案手法

• 誘発核を記憶のない指数関数的基底関数の線形結合として表現する多項式近似理論を用いる。
• 対数尤度最大化問題を自己調和的で凹型の最適化問題に再定式化し、グローバル収束と効率的な最適化を可能にする。
• 誘発核を指数関数的基底に射影することでマルコフ推定器を構築し、一度のデータ走査による処理スキームにより O(N) の計算量を確保する。
• 微分の L² 範囲に沿った粗さペナルティをハイパーパrameter α で制御することで、過学習を防ぐ。
• 核分解における負の係数を許容することで、非負のパラメトリックモデルでは捉えきれない抑制効果のモデリングが可能になる。
• 標準モデルが定数 μᵤ として仮定するのに対し、時間変動するバックグラウンドレート μᵤ(t) のデータ駆動型推定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 線形時間計算量を達成する非パラメトリックでマルコフ的な手法は、多変量 Hawkes プロセスにおいて促進的および抑制的誘発核を両方効果的に学習できるか？
• RQ2 核分解における負の係数の許容は、抑制的相互作用が存在する状況でのモデリング精度を向上させるか？
• RQ3 時間変動するバックグラウンドレートのデータ駆動型推定は、定数レート仮定と比較して予測性能を向上させるか？
• RQ4 MMEL や指数関数的核といった最先端手法と比較して、予測精度および核の回復性能において本手法はどのように優れているか？
• RQ5 実世界およびシミュレーション環境下で、ハイパーパrameter α（滑らかさ）および K（基底次数）に対する本手法の感度はいかがなっているか？

主な発見

• 300次元かつ p=1 のシミュレーテッドデータにおいて、MEMIP は Diff スコア 0.759 [0.755, 0.768] を達成し、MMEL (0.807) や指数関数的核 (0.791) を顕著に上回った。
• 10% の抑制的核を含むシミュレーテッドデータでは、MEMIP は Diff スコア 0.803 [0.793, 0.810] を達成し、MMEL (0.839) や指数関数的核 (0.830) を上回った。
• MemeTracker データセットでは、MEMIP は K=10 時に予測 AUC 0.8021 を達成し、MMEL (0.6928) や指数関数的核 (0.7716) を上回った。
• MEMIP はハイパーパrameter α に対して頑健であり、広い範囲の値で高い性能を維持したが、MMEL はスムージングの選択に敏感であった。
• 対数尤度計算において O(N) の計算量を達成したのに対し、非マルコフ的手法は O(N²) のスケーリングを示し、大規模データセットへのスケーラビリティを実現した。
• K=3 でさえも強力な予測性能を達成しており、低次元の基底次元でも効果的な近似が可能であることが示された。