[論文レビュー] Learning Granger Causality for Hawkes Processes

Hongteng Xu, Mehrdad Farajtabar+1 more|arXiv (Cornell University)|Feb 14, 2016

Point processes and geometric inequalities参考文献 34被引用数 75

ひとこと要約

本稿では、影響関数を基底関数で表現し、スパース・グループ・ラッソ正則化子を用いてグループスパarsityを強制することにより、ハーケス過程におけるグランジャ因果関係を非パrametricに学習する手法を提案する。このアプローチは、EMに基づく最適化を用いた最尤推定により、因果関係グラフとトリガーパターンを同時に回復し、合成データおよび実世界のデータにおいて優れた精度を示す、頑健な性能を達成する。

ABSTRACT

Learning Granger causality for general point processes is a very challenging task. In this paper, we propose an effective method, learning Granger causality, for a special but significant type of point processes --- Hawkes process. We reveal the relationship between Hawkes process's impact function and its Granger causality graph. Specifically, our model represents impact functions using a series of basis functions and recovers the Granger causality graph via group sparsity of the impact functions' coefficients. We propose an effective learning algorithm combining a maximum likelihood estimator (MLE) with a sparse-group-lasso (SGL) regularizer. Additionally, the flexibility of our model allows to incorporate the clustering structure event types into learning framework. We analyze our learning algorithm and propose an adaptive procedure to select basis functions. Experiments on both synthetic and real-world data show that our method can learn the Granger causality graph and the triggering patterns of the Hawkes processes simultaneously.

研究の動機と目的

• 連続時間で非同期的な点過程におけるグランジャ因果関係を学ぶ課題に取り組むこと。
• 時間や強度を離散化せずに、複雑な自己および相互トリガーイベントダイナミクスを捉える非パrametricモデルを開発すること。
• 影響関数係数への構造的スパarsityを用いて、因果関係グラフとトリガーパターンを同時に回復すること。
• イベントタイプ間のクラスタリング構造を組み込むことで、モデルの頑健性と解釈可能性を向上させること。
• スペクトル解析とサンプリング理論に基づいた、原理的で基底関数選択戦略を提供すること。

提案手法

• ハーケス過程の影響関数を基底関数の線形結合として表現することで、柔軟で非パrametricなモデリングを可能にする。
• 係数に across グループスパarsityを誘発するため、スパース・グループ・ラッソ（SGL）正則化子を用いた最尤推定問題に定式化する。
• 閉形式での更新を備えたEMベースのアルゴリズムを用いて、反復的パラメータ最適化を実行し、収束性と安定性を向上させる。
• イベントタイプ間のペアワイズ類似度を、クラスタリング構造が利用可能な場合に組み込むことで、モデルの頑健性を向上させる。
• スペクトル解析とシルバーマンのルール of thumb を用いて、最適なバンド幅を推定し、基底関数のカットオフ周波数を決定する。
• 強度関数のスペクトルエネルギー減衰に基づいた、適応的基底関数選択手順を導出することで、近似誤差を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 ハーケス過程における影響関数の非パrametric表現は、元のグランジャ因果関係グラフを効果的に回復できるか？
• RQ2 基底関数係数におけるグループスパarsityは、イベントタイプ間の因果関係の正確な同定をどのように可能にするか？
• RQ3 イベントタイプ間のクラスタリング構造を組み込むことで、因果関係学習の頑健性と正確性はどの程度向上するか？
• RQ4 基底関数選択の影響は何か？ そして、それはどのように体系的に決定できるか？
• RQ5 本手法は、さまざまなパrameter設定下で、従来の手法と比較して、学習精度と安定性の面でどの程度優れているか？

主な発見

• 提案手法は、複数の設定において合成データで真のグランジャ因果関係グラフとトリガーパターンを高い正確性と再現率で回復した。
• ベンチマークデータセットにおいて、対数尤度の観点で従来手法を上回る性能を示し、平均して10–15%の向上を達成した。
• 学習アルゴリズムはパrameterの変動に対して頑健であり、正則化パラメータの広い範囲で安定した性能を維持した。
• 適応的基底関数選択手順は、スペクトルエネルギー減衰を効果的に制限し、近似誤差をユーザーが定めたしきい値内に保った。
• イベントタイプ間のクラスタリング構造を組み込むことで、特にデータが少ない状況下でモデルの安定性が向上し、過学習が軽減された。
• 閉形式更新を備えたEMベースの最適化は、信頼性高くかつ効率的に収束し、大規模なイベント系列におけるスケーラブルな学習を可能にした。