[论文解读] EasyTPP: Towards Open Benchmarking Temporal Point Processes

Siqiao Xue, Xiaoming Shi+10 more|arXiv (Cornell University)|Jul 16, 2023

Data Management and Algorithms被引用 6

一句话总结

EasyTPP 提出首个针对时间点过程（TPPs）的集中式基准，提供统一、可扩展的框架，包含标准化数据集、评估工具和模块化神经模型组件。该框架通过支持 PyTorch 和 TensorFlow，实现可复现的研究，促进医疗、金融和电子商务等领域的模型比较与开发加速。

ABSTRACT

Continuous-time event sequences play a vital role in real-world domains such as healthcare, finance, online shopping, social networks, and so on. To model such data, temporal point processes (TPPs) have emerged as the most natural and competitive models, making a significant impact in both academic and application communities. Despite the emergence of many powerful models in recent years, there hasn't been a central benchmark for these models and future research endeavors. This lack of standardization impedes researchers and practitioners from comparing methods and reproducing results, potentially slowing down progress in this field. In this paper, we present EasyTPP, the first central repository of research assets (e.g., data, models, evaluation programs, documentations) in the area of event sequence modeling. Our EasyTPP makes several unique contributions to this area: a unified interface of using existing datasets and adding new datasets; a wide range of evaluation programs that are easy to use and extend as well as facilitate reproducible research; implementations of popular neural TPPs, together with a rich library of modules by composing which one could quickly build complex models. All the data and implementation can be found at https://github.com/ant-research/EasyTemporalPointProcess. We will actively maintain this benchmark and welcome contributions from other researchers and practitioners. Our benchmark will help promote reproducible research in this field, thus accelerating research progress as well as making more significant real-world impacts.

研究动机与目标

• 解决时间点过程（TPPs）缺乏标准化基准的问题，该问题阻碍了事件序列建模中模型比较与可复现性。
• 提供一个集中式、开源的存储库，包含数据集、模型、评估程序和文档，以简化 TPP 领域的研究与开发。
• 通过清晰的文档和模块化设计，使研究人员能够轻松扩展框架，添加新数据集、模型、评估指标或模块。
• 同时支持 PyTorch 和 TensorFlow，以最大化不同研究社区的灵活性与可及性。
• 通过标准化数据处理、评估指标（如对数似然、预测准确率）和显著性检验（如置换检验），推动可复现研究。

提出的方法

• 引入统一的数据接口，标准化 5 个真实世界数据集（如 Retweet、Taxi、Amazon、Taobao、StackOverflow）的输入格式，实现一致的数据加载与预处理。
• 开发可重用组件的模块化库（如神经层、注意力机制、强度函数），允许用户像积木一样组合构建复杂的 TPP 模型。
• 实现全面的评估程序套件，支持多种指标：对数似然、下一次事件预测准确率、序列相似性，以及用于统计显著性的置换检验。
• 通过统一的 API 确保与 PyTorch 和 TensorFlow 的兼容性，实现在不同深度学习框架间无缝的模型训练与推理。
• 通过定义添加新数据集、模型、评估指标和模块的清晰协议，设计框架以支持可扩展性，促进社区贡献。
• 通过对比不同实现（PyTorch 与 TensorFlow）及原始论文的结果，验证模型性能与可复现性，报告各项指标的相对差异。

Figure 1: ArXiv submissions over time on TPPs. See section E.1 for details.

实验结果

研究问题

• RQ1 标准化基准在多大程度上能提升不同研究团队和应用场景下时间点过程模型的可复现性与可比性？
• RQ2 一个模块化、可组合的神经组件库在多大程度上能加速新型 TPP 模型的开发与原型设计？
• RQ3 在使用相同实现逻辑时，不同深度学习框架（PyTorch 与 TensorFlow）之间的模型性能结果有多一致？
• RQ4 该基准能否在极少数据预处理开销的前提下，支持电子商务、社交媒体和金融交易等多样化真实应用场景？
• RQ5 该基准在通过标准化数据与评估流程，多大程度上能推动迁移学习与领域自适应等新研究方向？

主要发现

• EasyTPP 在 PyTorch 与 TensorFlow 实现之间实现了高度一致的模型性能，例如在 Retweet 和 Taxi 数据集上，时间 RMSE 和类型错误率的相对差异通常在 ±1% 以内。
• 该基准能够准确复现最先进模型：例如，IFTTP 在合成数据上的对数似然达到 0.186，与原始结果相当或更优。
• 模型比较显示，THP 在 Retweet 数据集（平均 5 个事件）上实现了最低的时间 RMSE（4.398），优于 MHP 和 RMTPP。
• 该框架通过标准化 5 个多样化的真实世界数据集（包括电子商务（Amazon、Taobao）、社交媒体（Retweet、StackOverflow）和出行（Taxi）），显著降低了数据处理负担。
• EasyTPP 中的评估程序支持多种指标，包括对数似然、预测准确率和序列相似性，并报告标准差以增强结果稳健性。
• 模块化设计使研究人员能够通过组合基础组件，高效复现复杂模型（如 AttNHP 和 ODETPP），显著减少实现时间和精力。

Figure 2: Drawing an event stream from a neural TPP. The model reads the sequence of past events (polygons) to arrive at a hidden state (blue). That state determines the future ”intensities” of the two types of events–that is, their time-varying instantaneous probabilities. The intensity functions a