[论文解读] Consistency and Computation of Regularized MLEs for Multivariate Hawkes Processes

Xin Guo, Anran Hu+2 more|arXiv (Cornell University)|Oct 6, 2018

Point processes and geometric inequalities参考文献 42被引用 4

一句话总结

本文建立了多变量霍克斯过程（MHPs）正则化最大似然估计量（MLEs）的一致性，并提出AA-iPALM算法，一种安德森加速的惯性近端交替线性化最小化算法，可保证全局收敛至驻点。该方法在识别真实世界数据中的因果结构方面优于iPALM和PALM，例如高频交易中的羊群行为以及craigslist租房列表中的因果模式。

ABSTRACT

This paper proves the consistency property for the regularized maximum likelihood estimators (MLEs) of multivariate Hawkes processes (MHPs). It also develops an alternating minimization type algorithm (AA-iPALM) to compute the MLEs with guaranteed global convergence to the set of stationary points. The performance of this AA-iPALM algorithm on both synthetic and real-world data shows that AA-iPALM consistently improves over iPALM and PALM. Moreover, AA-iPALM is able to identify the causality structure in rental listings on craigslist and herd behavior in the NASDAQ ITCH dataset.

研究动机与目标

• 建立多变量霍克斯过程（MHPs）正则化MLE的理论一致性，弥补文献中关于正则化估计的空白。
• 开发一种计算高效且具有全局收敛性的算法，用于在非凹似然函数下进行高维MHP参数估计。
• 在真实世界点过程数据（如金融订单流和社会媒体活动）中识别有意义的因果与触发结构。
• 通过算法加速与惯性动力学，克服高维设置下MLE对初始化和超参数的敏感性。

提出的方法

• 提出AA-iPALM，一种新型优化算法，结合iPALM与安德森加速，以提升非凸MHP似然最大化过程中的收敛速度与稳定性。
• 利用MHP参数（基强度、激发矩阵、核参数）的块结构，实现高效的交替最小化。
• 将正则化（如l1、l2、核范数）整合至MLE框架中，以在激发矩阵中促进稀疏性、低秩结构或组稀疏性。
• 利用MHP与分支过程的联系，推导理论一致性结果，而无需依赖抽象技术假设。
• 采用幂律核函数(t + c)^(-β)作为时间激发函数，实现灵活且基于实证的触发效应建模。
• 将该算法应用于真实数据集，包括用于高频交易的NASDAQ ITCH数据集，以及craigslist租房列表，以检测因果动态。

实验结果

研究问题

• RQ1 在现实条件下，多变量霍克斯过程的正则化MLE是否具有的一致性？
• RQ2 能否为高维、非凹的MHP似然函数开发一种具有全局收敛保证的优化算法？
• RQ3 所提出的AA-iPALM算法是否在收敛速度与解质量方面优于现有方法（如iPALM与PALM）？
• RQ4 估计的MHP参数能否揭示真实世界数据中可解释的因果结构，例如金融市场中的羊群行为？
• RQ5 正则化项如何影响MHP中真实潜在因果网络的恢复？

主要发现

• 证明了MHP正则化MLE的一致性，为其在统计推断中的应用奠定了坚实的理论基础。
• AA-iPALM可实现全局收敛至驻点集合，且在迭代复杂度与收敛速率方面具有理论保证。
• 在合成数据上，AA-iPALM在收敛速度与解精度方面始终优于iPALM与PALM。
• 在NASDAQ ITCH数据集中，该算法成功识别出自激发（对角线α条目）与羊群行为（例如α_{L^a,M^b} > 0），验证了已知的市场动态。
• 在craigslist租房列表中，AA-iPALM揭示了用户发帖行为之间的有意义因果关系，表明信息传播模式。
• 估计的β参数为Google的1.36，Apple的1.44，与先前在高频交易中使用幂律核的研究结果一致。