[論文レビュー] Sparse and low-rank multivariate Hawkes processes

Bacry, Emmanuel, Martin Bompaire+2 more|arXiv (Cornell University)|Jan 4, 2015

Point processes and geometric inequalities被引用数 11

ひとこと要約

本稿では、高頻度イベント時刻から潜在的相互作用ネットワークを推定するためのスパースかつ低ランクな多次元ハーケス過程モデルを提案する。最小二乗損失フレームワークにおいて ℓ₁ とトレースノルム正則化を組み合わせることで、同時にスパarsityと低ランク構造の同定が可能となり、連続時間行列マルティンゲールに対する新たなデータ駆動型不等式を導出し、鋭い理論的保証と適応的正則化チューニングを実現する。

ABSTRACT

We consider the problem of unveiling the implicit network structure of node interactions (such as user interactions in a social network), based only on high-frequency timestamps. Our inference is based on the minimization of the least-squares loss associated with a multivariate Hawkes model, penalized by $\ell_1$ and trace norm of the interaction tensor. We provide a first theoretical analysis for this problem, that includes sparsity and low-rank inducing penalizations. This result involves a new data-driven concentration inequality for matrix martingales in continuous time with observable variance, which is a result of independent interest and a broad range of possible applications since it extends to matrix martingales former results restricted to the scalar case. A consequence of our analysis is the construction of sharply tuned $\ell_1$ and trace-norm penalizations, that leads to a data-driven scaling of the variability of information available for each users. Numerical experiments illustrate the significant improvements achieved by the use of such data-driven penalizations.

研究の動機と目的

• ラベル付きまたはセグメンテーション済みカスケードデータに依存せずに、高頻度イベント時刻から潜在的相互作用ネットワークを推定すること。
• 自己励起と外部強度を持つ多次元ハーケス過程を用いて、ソーシャルネットワークやファイナンスネットワークにおけるユーザー相互作用をモデル化すること。
• ℓ₁ とトレースノルム正則化を用いて、相互作用行列におけるスパarsityと低ランク構造を同時に誘導すること。
• 推定手順における正則化パラメータの理論的裏付けが付いた、データ駆動型のチューニング手法を開発すること。
• スパarsityと低ランク制約の下での一般化誤差に対して鋭いオракル不等式を提供すること。

提案手法

• 観測されたイベント時刻に基づいて、多次元ハーケス過程のための最小二乗損失関数を定式化する。
• スパarsityと低ランク構造を促進するために、相互作用テンソルおよびベースライン強度に、ℓ₁ とトレースノルムの両方の正則化を導入する。
• 観測可能な分散を持つ連続時間行列マルティンゲールに対する、新たなデータ駆動型集中不等式を導出する。これはスカラー結果を行列ケースに拡張したものである。
• 集中不等式を用いて、ノードごとの情報のばらつきに応じてスケーリングされる、鋭くデータ適応的な正則化パラメータを構築する。
• 滑らかでない成分を含む凸最適化問題を解くために、バッチプロキシマル・グラディエント降下法を用いる。
• シミュレーテッドデータにフレームワークを適用し、データ駆動型正則化戦略の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 イベントデータからのネットワーク推定において、ℓ₁ とトレースノルム正則化を用いて、スパarsityと低ランク構造を効果的に誘導できるか？
• RQ2 観測データに基づいて、推定精度を向上させるために正則化パラメータを適応的にチューニングする方法は何か？
• RQ3 ハーケスモデルにおけるスパarsityと低ランク制約の下で、一般化誤差に対する理論的保証はどのように得られるか？
• RQ4 連続時間行列マルティンゲールに対する新規な集中不等式を導出し、データ駆動型正則化の根拠とすることができるか？
• RQ5 固定値または交差検証によるチューニングと比較して、データ駆動型正則化はどの程度性能を向上させるか？

主な発見

• 本稿では、スパarsityと低ランク誘導正則化を組み合わせた一般化誤差に対する鋭いオラクル不等式を確立した。
• 連続時間における行列マルティンゲールに対する新たなデータ駆動型集中不等式が導出され、これは独立に価値のある結果であり、既存のスカラー結果を拡張するものである。
• 理論的分析から、ノードごとの情報のばらつきを反映するデータ適応的スケーリングの正則化パラメータの導出が可能となった。
• 数値実験では、標準的または固定チューニング手法と比較して、提案手法のデータ駆動型正則化が顕著な性能向上を示した。
• ノイズや限られた観測下でも、高頻度イベントデータから元の相互作用ネットワーク構造を効果的に回復できた。
• 導出された集中不等式により、ハーケス過程パラメータ推定におけるよりタイトな境界と信頼性の高い推論が可能となった。