[論文レビュー] A generalization error bound for sparse and low-rank multivariate Hawkes processes

Emmanuel Bacry, Stéphane Gaïffas+1 more|arXiv (Cornell University)|Jan 4, 2015

Point processes and geometric inequalities参考文献 37被引用数 22

ひとこと要約

本稿は、高頻度のタイムスタンプから、$μat$-ノルムおよびトレースノルム正則化を施した罰則付き多次元ハーケス過程を用いて、データ駆動型の手法によりスパースかつ低ランクな相互作用ネットワークを推定する手法を提案する。一般化誤差の新たな境界を確立することで、ばらつきを考慮した正則化スケーリングが可能となり、精度の高いネットワーク回復が実現される。

ABSTRACT

We consider the problem of unveiling the implicit network structure of user interactions in a social network, based only on high-frequency timestamps. Our inference is based on the minimization of the least-squares loss associated with a multivariate Hawkes model, penalized by $\ell_1$ and trace norms. We provide a first theoretical analysis of the generalization error for this problem, that includes sparsity and low-rank inducing priors. This result involves a new data-driven concentration inequality for matrix martingales in continuous time with observable variance, which is a result of independent interest. A consequence of our analysis is the construction of sharply tuned $\ell_1$ and trace-norm penalizations, that leads to a data-driven scaling of the variability of information available for each users. Numerical experiments illustrate the strong improvements achieved by the use of such data-driven penalizations.

研究の動機と目的

• 高頻度の相互作用タイムスタンプからソーシャルメディアにおける隠れたネットワーク構造を解明すること。
• 限られたデータにおいて複雑で高次元なユーザ相互作用ダイナミクスをモデル化する課題に対処すること。
• スパarsityおよび低ランク構造を正則化によって組み込む理論的裏付けを有する手法の開発。
• ユーザごとの情報のばらつきに適応するデータ駆動型の罰則スケーリングの導出。

提案手法

• 推定問題を多次元ハーケス過程モデル上の最小二乗最小化問題として定式化する。
• 相互作用行列におけるスパarsityおよび低ランク構造を誘導するために、$μat$-ノルムとトレースノルムの併用正則化を適用する。
• 理論的解析のための、観測可能な分散を伴う連続時間行列マルティンググール濃縮不等式を新たに導出する。
• 導出された濃縮不等式を用いて、データ駆動型の分散推定に依存する一般化誤差境界を確立する。
• ユーザの相互作用パターンの経験的ばらつきに基づくデータ適応型罰則スケーリングを構築する。
• 数値実験を用いて、提案された罰則チューニングによるネットワーク回復性能の向上を検証する。

実験結果

リサーチクエスチョン

• RQ1 高頻度のタイムスタンプから、スパarsityおよび低ランク構造を効果的に活用してユーザ相互作用ネットワークを推定する方法は何か？
• RQ2 混合ノルムを用いた罰則付き多次元ハーケス過程の一般化誤差に対して、どのような理論的保証を提供できるか？
• RQ3 ユーザ相互作用データの固有のばらつきに適応するデータ駆動型の罰則スケーリングを導出可能か？
• RQ4 提案手法は、標準的な正則化アプローチと比較して、ネットワーク回復精度においてどのように優れているか？

主な発見

• 観測可能な分散を伴う連続時間行列マルティングル濃縮不等式が新たに導出され、独立した理論的関心を有する。
• 一般化誤差境界は、$μat$-ノルムおよびトレースノルム正則化を通じて、スパarsityおよび低ランク構造を組み込む。
• 理論的解析により、ユーザ固有の相互作用ばらつきに応じてスケーリングされる、鋭くチューニングされたデータ適応型罰則の構築が可能となる。
• 数値実験により、提案されたデータ駆動型罰則チューニングを用いることで、ネットワーク回復性能が顕著に向上することが示された。