[論文レビュー] Efficient EM-Variational Inference for Hawkes Process

Feng Zhou, Li, Zhidong+4 more|arXiv (Cornell University)|May 29, 2019

Point processes and geometric inequalities参考文献 23被引用数 4

ひとこと要約

本稿では、ガウス過程変換を用いてベースライン強度およびトリガリングカーネルを柔軟で滑らかな関数としてモデル化する、完全にベイジアンな非パラメトリック・ハーケス過程を提案する。潜在的分岐構造を介して変分推論をEMフレームワークに統合し、加速技術を導入することで、グリッド化を伴わず、効率的かつ高精度な推論を実現し、合成データおよび実世界データにおいて最先端の手法を上回る性能を発揮する。

ABSTRACT

In classical Hawkes process, the baseline intensity and triggering kernel are assumed to be a constant and parametric function respectively, which limits the model flexibility. To generalize it, we present a fully Bayesian nonparametric model, namely Gaussian process modulated Hawkes process and propose an EM-variational inference scheme. In this model, a transformation of Gaussian process is used as a prior on the baseline intensity and triggering kernel. By introducing a latent branching structure, the inference of baseline intensity and triggering kernel is decoupled and the variational inference scheme is embedded into an EM framework naturally. We also provide a series of schemes to accelerate the inference. Results of synthetic and real data experiments show that the underlying baseline intensity and triggering kernel can be recovered without parametric restriction and our Bayesian nonparametric estimation is superior to other state of the arts.

研究の動機と目的

• 定常なベースライン強度およびパラメトリックなトリガリングカーネルを仮定する古典的ハーケス過程の制限を克服すること。
• ドメインのグリッド化なしに、非パラメトリックかつ滑らかにベースライン強度およびトリガリングカーネルを推定できる完全にベイジアンな非パラメトリックモデルの開発。
• 潜在的分岐構造を用いてベースラインとカーネルの推定を分離することで、このような複雑なモデルに対する効率的推論を可能にすること。
• 次元削減およびELBOの閉形式導関数を用いて、EMフレームワーク内での変分推論の高速化を図ること。

提案手法

• 非負性を保証するとともに、非パラメトリックかつ滑らかな推定を可能にするために、ベースライン強度およびトリガリングカーネルをガウス過程の変換としてモデル化する。
• 尤度におけるベースライン強度とトリガリングカーネルの依存関係を分離するために、潜在的分岐構造を導入し、EMに基づく推論を可能にする。
• EMフレームワーク内に変分推論を統合し、強度関数およびカーネル関数の事後分布を同時に推論する。
• 変分推論における高次元最適化の計算複雑性を低減するため、次元削減技術を適用する。
• EM-Variational (EMV) アルゴリズムにおける最適化ステップを高速化するため、下界尤度（ELBO）の閉形式偏導関数を導出する。
• R反復でO(RN²)の計算量を達成するEMVアルゴリズムを用い、大規模データセットへのスケーリングを実現する。

実験結果

リサーチクエスチョン

• RQ1 パラメトリックまたは頻度主義的非パラメトリック代替手法と比較して、完全にベイジアンな非パラメトリックモデルが、より高い柔軟性と精度を達成できるか。
• RQ2 ベースライン強度とトリガリングカーネルの結合尤度を扱うにあたり、変分推論を効果的にEMフレームワークに統合する方法は何か。
• RQ3 ベイジアン非パラメトリック推論をハーケス過程に適用するにあたり、計算的に実用的で可能な加速技術は何か。
• RQ4 モデルは、パラメトリック仮定なしに、複雑で時間的に変化するベースライン強度および非指数型トリガリングカーネルをどの程度正確に回復できるか。

主な発見

• 提案されたEM-変分推論（EMV）手法は、パラメトリック制限なしに、さまざまな真の関数を有する合成データ上でも、内在するベースライン強度およびトリガリングカーネルを効果的に回復した。
• 合成データのケース1において、EMVはベースライン強度の推定誤差が0.008、トリガリングカーネルの推定誤差が0.015であり、対応する対数尤度は-37.91に達し、すべてのベースライン手法を上回った。
• ケース2では、EMVが最高の対数尤度（96.85）と最小のトリガリングカーネル推定誤差（0.002）を達成し、適合度の優位性を示した。
• 実世界データにおいては、EMVは車両衝突データで71.7%、タクシー乗車データで70.4%の予測精度を達成し、PH（60.6%）やWH（67.3%）といった代替手法を顕著に上回った。
• Q-Qプロットの結果、EMVのモデル適合度は理想の対角線に最も近く、非定常ポアソン過程や固定ベースライン強度を持つモデルと比較して、より良好なキャリブレーションを示した。
• 閉形式導関数と次元削減を活用したEMVアルゴリズムは、ベースラインの変分推論に比べ20〜30%の高速化を達成し、大規模応用に実用的であることが確認された。