[论文解读] Benefits from Superposed Hawkes Processes

Hongteng Xu, Dixin Luo+2 more|arXiv (Cornell University)|Oct 14, 2017

Point processes and geometric inequalities被引用 4

一句话总结

该论文提出使用叠加的霍克斯过程以提升时间点过程建模中的学习效率并降低过度风险。通过结合多个具有共享内源触发核但不同外源强度的霍克斯过程，该方法在最小二乘估计下收紧了过度风险的上界，并在解决推荐系统中的冷启动问题方面表现出色。

ABSTRACT

The superposition of temporal point processes has been studied for many years, although the usefulness of such models for practical applications has not be fully developed. We investigate superposed Hawkes process as an important class of such models, with properties studied in the framework of least squares estimation. The superposition of Hawkes processes is demonstrated to be beneficial for tightening the upper bound of excess risk under certain conditions, and we show the feasibility of the benefit in typical situations. The usefulness of superposed Hawkes processes is verified on synthetic data, and its potential to solve the cold-start problem of recommendation systems is demonstrated on real-world data.

研究动机与目标

• 填补叠加时间点过程在实际应用中的空白，特别是针对霍克斯过程等复杂模型。
• 探究叠加霍克斯过程是否在学习中带来可衡量的收益，尤其是在降低估计误差方面。
• 在现实应用场景（如用户交互数据有限的推荐系统）中，证明叠加霍克斯过程的可行性和优势。
• 为在最小二乘学习下，通过叠加具有共享内源结构的霍克斯过程实现更紧的过度风险上界提供理论依据。
• 在合成数据和真实世界数据集上验证该方法的有效性，特别是在冷启动推荐场景中。

提出的方法

• 将多个实体（如用户）建模为具有不同外源强度但共享内源触发核的独立霍克斯过程。
• 将叠加过程定义为各独立计数过程的和：$ N(t) = \sum_{m=1}^{M} N^m(t) $，其中 $ N^m(t) $ 表示实体 $ m $ 的计数过程。
• 对叠加过程应用最小二乘估计，以学习共享的传染性（触发）矩阵，从而利用集体事件模式。
• 理论分析表明，当外源强度多样化时，叠加可收紧过度风险的上界，从而提升估计稳定性。
• 利用叠加模型推断推荐系统中的用户行为模式，尤其在个体用户历史数据稀疏时。
• 使用THAP MATLAB工具箱实现该方法，使包含约1,000名用户和数百件商品的数据集训练时间在一分钟以内。

实验结果

研究问题

• RQ1 叠加多个霍克斯过程是否能提升学习触发核的估计精度？
• RQ2 在何种条件下，叠加能降低霍克斯过程最小二乘学习中的过度风险？
• RQ3 外源强度的多样性如何影响叠加学习的可行性与优势？
• RQ4 叠加霍克斯过程能否有效解决用户交互数据稀疏的推荐系统中的冷启动问题？
• RQ5 叠加的优势是否在不同真实世界数据分布下均保持稳健，还是依赖于模型兼容性？

主要发现

• 当外源强度多样化时，叠加霍克斯过程在最小二乘学习中实现了更紧的过度风险上界，为估计性能的提升提供了理论依据。
• 在合成数据上，与单独学习各过程相比，该方法持续降低了估计误差，验证了理论预测。
• 在真实世界推荐实验中，'叠加 + HP'策略在'Garden'和'Pet'类别中相较基线方法，将精确率、召回率和F1分数提高了10%以上。
• 在'Baby'类别中，尽管用户行为可能不符合霍克斯过程假设，该方法仍优于'多源 + MHP'基线，表明叠加优势具有鲁棒性。
• 该方法在真实世界数据集上实现了亚分钟级的训练时间（1,000名用户，数百件商品），展示了实际可扩展性。
• 初步结果表明，叠加的优势可能也适用于最大似然估计，如图1(c)和1(d)所示的趋势所示。