[论文解读] A generalization error bound for sparse and low-rank multivariate Hawkes processes

Emmanuel Bacry, Stéphane Gaïffas+1 more|arXiv (Cornell University)|Jan 4, 2015

Point processes and geometric inequalities参考文献 37被引用 22

一句话总结

本文提出一种数据驱动方法，通过使用带有 $μat$-范数和迹范数正则化的惩罚多变量霍克斯过程，从高频时间戳中推断社交媒体中的稀疏且低秩交互网络。该方法建立了新颖的一般化误差界，实现精确调优的惩罚项，通过考虑方差的正则化缩放提升网络恢复的准确性。

ABSTRACT

We consider the problem of unveiling the implicit network structure of user interactions in a social network, based only on high-frequency timestamps. Our inference is based on the minimization of the least-squares loss associated with a multivariate Hawkes model, penalized by $\ell_1$ and trace norms. We provide a first theoretical analysis of the generalization error for this problem, that includes sparsity and low-rank inducing priors. This result involves a new data-driven concentration inequality for matrix martingales in continuous time with observable variance, which is a result of independent interest. A consequence of our analysis is the construction of sharply tuned $\ell_1$ and trace-norm penalizations, that leads to a data-driven scaling of the variability of information available for each users. Numerical experiments illustrate the strong improvements achieved by the use of such data-driven penalizations.

研究动机与目标

• 从高频交互时间戳中揭示社交媒体中的隐藏网络结构。
• 解决在数据有限的情况下对复杂、高维用户交互动态进行建模的挑战。
• 开发一种理论基础扎实的方法，通过正则化引入稀疏性和低秩结构。
• 推导一种适应用户信息内在可变性的数据驱动惩罚缩放方法。

提出的方法

• 将推理问题表述为多变量霍克斯过程模型上的最小二乘优化问题。
• 应用联合 $μat$-范数和迹范数正则化，以在交互矩阵中诱导稀疏性和低秩结构。
• 推导一种具有可观测方差的连续时间矩阵鞅集中不等式，用于理论分析。
• 利用推导出的集中不等式，建立依赖于数据驱动方差估计的一般化误差界。
• 基于用户交互模式的经验可变性，构建一种数据自适应的惩罚缩放方法。
• 通过数值实验验证所提出的惩罚调优在提升网络恢复性能方面的有效性。

实验结果

研究问题

• RQ1 如何有效利用稀疏性和低秩结构，从未高频时间戳中推断用户交互网络？
• RQ2 对于具有混合范数的惩罚多变量霍克斯过程，其一般化误差可提供何种理论保证？
• RQ3 能否推导出一种适应用户交互数据内在可变性的数据驱动惩罚缩放方法？
• RQ4 与标准正则化方法相比，所提出方法在网络恢复准确性方面表现如何？

主要发现

• 推导出一种具有可观测方差的新型连续时间矩阵鞅集中不等式，具有独立的理论价值。
• 一般化误差界通过 $μat$-范数和迹范数正则化，同时融合了稀疏性和低秩结构。
• 理论分析使得能够构建精确调优、数据自适应的惩罚项，其缩放与用户特定的交互可变性相关。
• 数值实验表明，采用所提出的基于数据驱动的惩罚调优方法，网络恢复性能显著提升。