[論文レビュー] Nonparametric Hawkes Processes: Online Estimation and Generalization Bounds

Yingxiang Yang, Jalal Etesami+2 more|arXiv (Cornell University)|Jan 25, 2018

Point processes and geometric inequalities参考文献 29被引用数 5

ひとこと要約

本稿では、勾配計算の非効率性、代表定理の不在、正値制約の計算コストといった課題を克服する非パラメトリックなオンラインアルゴリズムNPOLE-MHPを提案する。$Ø(1/T)$のレグレットと安定性を達成し、非パラメトリックなバッチ手法と同等の精度を実現しながら、実データおよび合成データにおいてパラメトリックなオンラインアルゴリズムと同等の高速性を発揮する。

ABSTRACT

In this paper, we design a nonparametric online algorithm for estimating the triggering functions of multivariate Hawkes processes. Unlike parametric estimation, where evolutionary dynamics can be exploited for fast computation of the gradient, and unlike typical function learning, where representer theorem is readily applicable upon proper regularization of the objective function, nonparametric estimation faces the challenges of (i) inefficient evaluation of the gradient, (ii) lack of representer theorem, and (iii) computationally expensive projection necessary to guarantee positivity of the triggering functions. In this paper, we offer solutions to the above challenges, and design an online estimation algorithm named NPOLE-MHP that outputs estimations with a $\mathcal{O}(1/T)$ regret, and a $\mathcal{O}(1/T)$ stability. Furthermore, we design an algorithm, NPOLE-MMHP, for estimation of multivariate marked Hawkes processes. We test the performance of NPOLE-MHP on various synthetic and real datasets, and demonstrate, under different evaluation metrics, that NPOLE-MHP performs as good as the optimal maximum likelihood estimation (MLE), while having a run time as little as parametric online algorithms.

研究の動機と目的

• 非パラメトリックなオンライン推定における課題、特に勾配評価の非効率性、代表定理の不在、正値制約の計算コストの高さに対処すること。
• 制限的なパラメトリック仮定を必要とせず、非パラメトリックなトリガ関数を推定する際、低レグレットと高い安定性を維持するオンラインアルゴリズムの開発。
• 連続的なマーク（例：犯罪の規模や取引量）を持つイベントをモデル化できるマーク付きハーケス過程（MMHP）へのフレームワークの拡張。
• 提案手法が非パラメトリックなバッチ学習と同等の性能を達成し、同時にパラメトリックなオンライン手法と同等の実行効率を有するかどうかの検証。
• ニュースメディアの拡散およびシカゴの犯罪パターンといった実世界のデータセットを用いた複数の評価指標に基づく手法の妥当性の検証。

提案手法

• 時間軸を$\delta$以下の長さをもつ区間に離散化することで、連続的な強度関数を近似誤差を制御できる離散最適化問題に変換する。
• ハーケス過程に特有の間隔時間統計を利用したオンラインカーネル学習フレームワークを採用し、実行可能で即時の目的関数を設計する。
• 収束性と安定性を保証するため、$\eta_k = 1/(k\zeta + 800)$という慎重に設計されたステップサイズルールを用いた投影付きオンライン勾配降下法を採用する。
• 離散化された定式化の構造のおかげで、正値性を保証するための射影が計算的に効率的に行える。
• マルチバリアント・マーキングハーケス過程（MMHP）に対しては、トリガ関数を時間遅延とマーク（例：距離や規模）の両方に依存させるように拡張し、イベントダイナミクスのより豊かなモデル化を可能にする。
• 理論的分析により、時間枠$T$が既知の場合に$\mathcal{O}(\log T)$のレグレットバウンドが確立され、1反復あたりの計算コストは$\mathcal{O}(p^2)$（$p$は次元数）となる。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリックなオンラインアルゴリズムを、バッチ学習の計算的ボトル neck とパラメトリックモデルの不柔軟性を回避するマルチバリアント・ハーケス過程に設計可能か？
• RQ2 オンライン非パラメトリック推定において、代表定理の不在と正値射影の高コストという課題をどのように解決できるか？
• RQ3 時間離散化された強度近似に基づくオンライン非パラメトリック推定器に対して、理論的レグレットと安定性保証はどのようなものか？
• RQ4 イベントのマーク（例：犯罪の深刻度、取引量）がトリガ効果に影響を与える場合、提案手法はマーキングハーケス過程に一般化可能か？
• RQ5 オンライン非パラメトリック手法は、バッチ非パラメトリック学習と同等の性能を発揮するか？ また、パラメトリックなオンライン手法と同等の実行効率を維持できるか？

主な発見

• NPOLE-MHPは$\mathcal{O}(1/T)$のレグレットと$\mathcal{O}(1/T)$の安定性を達成し、強力な理論的収束保証を示した。
• 合成データおよび実データの両方において、NPOLE-MHPは尤度やその他の指標において最適な最尤推定（MLE）と同等の性能を示した。
• 1反復あたり$\mathcal{O}(p^2)$の時間計算量であり、非パラメトリックであるにもかかわらず、パラメトリックなオンラインアルゴリズムと同等の効率性を有する。
• シカゴの犯罪データ実験では、NPOLE-MMHPは実際のマーク分布（例：中心からの距離）を反映したより現実的なトリガ関数を生成したのに対し、OGDはポisson過程を近似したにとどまった。
• パrameter設定にかかわらず、OGDの超過レグレットは一貫して正値であり、提案手法の優れた性能を示した。
• ニュースメディアデータセットにおいても、NPOLE-MHPはOGDやDMDよりも1ステップあたりの累積損失が低く抑えられ、収束の速さと最適化性能の優位性が確認された。