[论文解读] An Empirical Study: Extensive Deep Temporal Point Process

Haitao Lin, Cheng Tan+4 more|arXiv (Cornell University)|Oct 19, 2021

Complex Network Analysis Techniques参考文献 59被引用 4

一句话总结

本文提出了一种广泛的深度时间点过程（EDTPP）框架，系统地评估并扩展了深度时间点过程的关键组件：历史编码、强度函数构建以及格兰杰因果发现。通过采用统一的学习策略对模型进行再模块化，并引入一种变分图结构学习框架以发现潜在因果结构，EDTPP在真实世界数据集上实现了更优的预测性能和更强的可解释性。

ABSTRACT

Temporal point process as the stochastic process on continuous domain of time is commonly used to model the asynchronous event sequence featuring with occurrence timestamps. Thanks to the strong expressivity of deep neural networks, they are emerging as a promising choice for capturing the patterns in asynchronous sequences, in the context of temporal point process. In this paper, we first review recent research emphasis and difficulties in modeling asynchronous event sequences with deep temporal point process, which can be concluded into four fields: encoding of history sequence, formulation of conditional intensity function, relational discovery of events and learning approaches for optimization. We introduce most of recently proposed models by dismantling them into the four parts, and conduct experiments by remodularizing the first three parts with the same learning strategy for a fair empirical evaluation. Besides, we extend the history encoders and conditional intensity function family, and propose a Granger causality discovery framework for exploiting the relations among multi-types of events. Because the Granger causality can be represented by the Granger causality graph, discrete graph structure learning in the framework of Variational Inference is employed to reveal latent structures of the graph. Further experiments show that the proposed framework with latent graph discovery can both capture the relations and achieve an improved fitting and predicting performance.

研究动机与目标

• 识别深度时间点过程中驱动性能提升的最关键组件。
• 通过实现多类型事件之间的关系发现，解决深度时间点过程可解释性不足的问题。
• 通过在统一优化策略下解耦并重新组合模型组件（编码、强度函数），提出一种公平的实证评估框架。
• 开发一种基于变分推断的图结构学习方法，用于发现事件序列中的格兰杰因果关系。
• 指出当前数据集和实验实践中的局限性，呼吁提升数据质量与标准化评估协议。

提出的方法

• 将现有深度时间点过程模型拆解为四个核心组件：历史编码、强度函数构建、关系发现与优化。
• 通过改进的FNet架构扩展历史编码器，以提升序列表征能力。
• 引入一类定义在半无限区间上的混合分布族，实现更灵活的条件强度函数建模。
• 提出一种基于变分推断的离散图结构学习框架，用于发现事件类型之间的潜在格兰杰因果图。
• 在所有实验中采用统一的训练策略，确保不同编码器与强度函数组合之间的公平比较。
• 将该框架应用于真实世界数据集（如MOOC、Stack Overflow），以评估预测性能与因果结构发现能力。

实验结果

研究问题

• RQ1 在深度时间点过程中，历史编码与强度函数构建哪个组件对模型性能的影响更大？
• RQ2 统一的模块化框架能否实现对现有深度时间点过程模型的公平且系统化的评估？
• RQ3 变分图结构学习在多类型事件序列中能多大程度上揭示有意义的格兰杰因果关系？
• RQ4 当前的实验设置与数据质量在多大程度上影响时间点过程研究中模型评估的可靠性？
• RQ5 当前深度时间点过程模型在可解释性、泛化能力与计算效率方面存在哪些关键局限？

主要发现

• 消融实验在多个数据集上表明，历史编码器对模型性能的影响显著大于强度函数构建。
• 所提出的变分格兰杰因果发现框架成功识别出事件序列中的潜在因果结构，同时提升了可解释性与预测准确性。
• 实验发现MOOC等真实世界数据集中首次事件时间戳存在显著方差，挑战了独立同分布假设，引发对数据质量与模型泛化能力的担忧。
• 该框架在真实世界数据集上展现出具有竞争力的性能，同时能够发现有意义的事件间因果关系。
• 本研究识别出当前评估实践中存在的关键缺口，包括实验设置不一致与消融研究不足，呼吁建立标准化基准。
• 随着模型深度与序列长度的增加，计算复杂度显著上升，凸显未来模型设计中需开展复杂度分析的重要性。