[論文レビュー] Hawkes Process Kernel Structure Parametric Search with Renormalization Factors

Rafael Lima, Jaesik Choi|arXiv (Cornell University)|May 24, 2018

Point processes and geometric inequalities参考文献 14被引用数 3

ひとこと要約

本稿では、自己発火カーネルのパラメータを安定で定常的な設定に制約することで、ハーケス過程における最尤推定（MLE）の安定化を図るための正規化因子（RFs）を導入する。この手法は、指数関数的、累乗則的、レイリー、およびツァリスQ指数関数的の4つのパラメトリックカーネルにおいて、劣悪な初期化や短い系列の状況でも、対数尤度性能を向上させ、実験的評価においてRF-MLEが常に標準MLEを上回る。

ABSTRACT

Hawkes Processes are a type of point process for modeling self-excitation, i.e., when the occurrence of an event makes future events more likely to occur. The corresponding self-triggering function of this type of process may be inferred through an Unconstrained Optimization-based method for maximization of its corresponding Loglikelihood function. Unfortunately, the non-convexity of this procedure, along with the ill-conditioning of the initialization of the self- triggering function parameters, may lead to a consequent instability of this method. Here, we introduce Renormalization Factors, over four types of parametric kernels, as a solution to this instability. These factors are derived for each of the self-triggering function parameters, and also for more than one parameter considered jointly. Experimental results show that the Maximum Likelihood Estimation method shows improved performance with Renormalization Factors over sets of sequences of several different lengths.

研究の動機と目的

• 非凸性と劣悪な初期化によるハーケス過程における制約のないMLEの不安定性を解消すること。
• 自己発火カーネルパラメータを安定で定常的な設定に制約する閉形式の正規化因子を導出すること。
• 指数関数的、累乗則的、レイリー、およびツァリスQ指数関数的を含む複数のカーネル族にわたる、連携パラメータ空間への安定化の拡張。
• 多様な系列長およびカーネル誤割り当ての状況において、手法の有効性を検証すること。
• モデル適合度を損なわずに、不安定なパrameter領域付近でも頑健なパラメータ推定を可能にすること。

提案手法

• 自己発火カーネルパラメータの定常性を強制する正規化因子（RFs）を正則化機構として提案する。
• 4つのカーネル族にわたる個々のパラメータおよび連携パラメータ集合の閉形式RF式を導出する。
• MLE最適化中にRFsを適用し、パラメータ空間を安定な設定に制限することで、無限大のイベント発生率への発散を防ぐ。
• パラメータεを用いた摂動ベースのアプローチにより、不安定境界付近での探索を制御可能な正規化度を制御する。
• 標準MLEにRF制約を適用したRF-MLEを用い、合成系列上で性能を制約なしMLEと比較する。
• 系列長（T=1000, 5000, 10000, 30000）とカーネル誤割り当て状況の異なる合成系列を用いて手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 非凸最適化と劣悪な初期化下でも、正規化因子はハーケス過程におけるMLEを安定化できるか？
• RQ2 RFsは異なるパラメトリックカーネル族にわたって対数尤度性能をどのように向上させるか？
• RQ3 短い系列およびカーネル誤割り当て状況において、RF-MLEは標準MLEをどの程度上回るか？
• RQ4 連携パラメータの正規化は、個々のパラメータ制約を超えて安定性と収束性を向上させ得るか？
• RQ5 パラメータが不安定な構成に近い状況でも、この手法は頑健性を維持できるか？

主な発見

• RF-MLEは、全テスト系列長（T=1000～T=30000）で対数尤度を顕著に向上させ、標準MLEより一貫した向上を示す。
• T=1000の場合、ε=0.1のRF-MLEは、全カーネルタイプで90％の系列で対数尤度を向上させ、一部のケースでは最大15％の向上を達成した。
• T=30000では、RF-MLEがEXPカーネルで-27509.08の対数尤度を達成したのに対し、標準MLEは-27977.34であった。相対的な改善は約1.7％であった。
• T=10000においてカーネル誤割り当て（例：PWL生成系列にEXPをフィット）の状況でも、RF-MLEは70～80％のケースで改善を示した。
• レイリーカーネルは最も一貫した向上を示し、全系列タイプおよび長さで、RF-MLEがMLEと同等またはそれ以上の対数尤度を達成した。
• この手法は、不安定なパラメータ領域に近い状況でも、MLEを効果的に安定化させ、無限大のイベント発生率への発散を防ぎつつ、モデル適合度を維持した。