[论文解读] Exploring Generative Neural Temporal Point Process

Haitao Lin, Lirong Wu+3 more|arXiv (Cornell University)|Aug 3, 2022

3D Shape Modeling and Analysis被引用 4

一句话总结

本文提出GNTPP，一种统一的生成式神经时间点过程框架，通过整合去噪扩散和得分匹配等深度生成模型，超越传统最大似然方法，在预测性能上实现提升。通过基于事件类型关系与时间间隔的自适应重加权机制改进注意力机制，GNTPP在多个基准测试中均实现了更优的下一个事件时间戳预测与样本质量。

ABSTRACT

Temporal point process (TPP) is commonly used to model the asynchronous event sequence featuring occurrence timestamps and revealed by probabilistic models conditioned on historical impacts. While lots of previous works have focused on `goodness-of-fit' of TPP models by maximizing the likelihood, their predictive performance is unsatisfactory, which means the timestamps generated by models are far apart from true observations. Recently, deep generative models such as denoising diffusion and score matching models have achieved great progress in image generating tasks by demonstrating their capability of generating samples of high quality. However, there are no complete and unified works exploring and studying the potential of generative models in the context of event occurence modeling for TPP. In this work, we try to fill the gap by designing a unified extbf{g}enerative framework for extbf{n}eural extbf{t}emporal extbf{p}oint extbf{p}rocess ( extsc{GNTPP}) model to explore their feasibility and effectiveness, and further improve models' predictive performance. Besides, in terms of measuring the historical impacts, we revise the attentive models which summarize influence from historical events with an adaptive reweighting term considering events' type relation and time intervals. Extensive experiments have been conducted to illustrate the improved predictive capability of extsc{GNTPP} with a line of generative probabilistic decoders, and performance gain from the revised attention. To the best of our knowledge, this is the first work that adapts generative models in a complete unified framework and studies their effectiveness in the context of TPP. Our codebase including all the methods given in Section.5.1.1 is open in \url{https://github.com/BIRD-TAO/GNTPP}. We hope the code framework can facilitate future research in Neural TPPs.

研究动机与目标

• 解决现有神经时间点过程（TPP）模型尽管拟合度良好，但预测性能较差的问题。
• 克服基于似然的训练方式对模型表达能力的限制，避免高质量样本生成受阻。
• 探索并统一深度生成模型（尤其是去噪扩散与得分匹配）在事件序列建模中的应用。
• 通过基于事件类型相似性与时间间隔的自适应重加权机制，改进历史影响的编码。
• 通过广泛的实证评估，证明完整且统一的生成式框架在TPP中的可行性与有效性。

提出的方法

• 设计统一的生成式框架GNTPP，将深度生成模型（如去噪扩散）作为神经TPP中的概率解码器。
• 用基于能量模型的未归一化对数似然优化替代传统基于似然的解码器，实现灵活且高质量的样本生成。
• 引入改进的注意力机制（Rev-ATT），通过事件类型关系与时间间隔自适应重加权历史事件。
• 使用可学习矩阵 $\bm{E}_m\bm{E}_m^T$ 建模事件类型相似性，增强编码器对时间与类别依赖关系的表达能力。
• 以未归一化对数似然作为训练目标，实现无需可计算似然的端到端优化。
• 在框架内实现多种生成式概率解码器（如TCDDM），以在多样化数据集上评估性能。

实验结果

研究问题

• RQ1 去噪扩散与得分匹配等深度生成模型是否能够超越传统最大似然方法，提升神经时间点过程的预测性能？
• RQ2 基于事件类型与时间间隔的自适应重加权机制，如何改善TPP中历史影响的建模？
• RQ3 统一的生成式框架GNTPP在下一个事件时间戳预测中，对样本质量与预测准确率的提升程度如何？
• RQ4 嵌入维度与层数等超参数对GNTPP中生成解码器性能的影响如何？
• RQ5 所提出的框架是否在具有不同事件动态的多样化真实世界数据集中均表现出一致的性能提升？

主要发现

• GNTPP在下一个事件时间戳预测任务中显著提升预测性能，基于TCDDM的解码器在Stack Overflow数据集上实现4.9947 ±0.0366的MAPE，优于LSTM与标准注意力机制。
• 改进的注意力机制（Rev-ATT）在Retweet数据集上优于标准注意力与LSTM，Top1准确率达到0.6274 ±0.0075，表明历史依赖关系建模能力增强。
• 所有数据集上的CRPS与QQP_Dev得分均得到改善，Stack Overflow数据集上CRPS降低至0.4375 ±0.0163，表明分布拟合能力更优。
• 超参数敏感性分析显示，MOOC数据集上更大的嵌入维度与层数会降低性能，表明最优配置对生成模型至关重要。
• 事件类型相似性矩阵的可视化验证了有意义的共现模式，如（Stellar Question, Great Answer）之间具有高相似性，证实模型能有效学习语义事件关系。
• 完整代码库已公开发布于 https://github.com/BIRD-TAO/GNTPP，支持可复现性与神经TPP领域的未来研究。