[论文解读] Fully Neural Network based Model for General Temporal Point Processes

Takahiro Omi, Naonori Ueda+1 more|arXiv (Cornell University)|May 23, 2019

3D Shape Modeling and Analysis参考文献 20被引用 50

一句话总结

本文提出了一种基于完全神经网络的模型，用以表示累积危险函数以灵活建模时序点过程，实现精确的对数似然评估，并在合成数据和真实数据上具有有竞争力的预测性能。

ABSTRACT

A temporal point process is a mathematical model for a time series of discrete events, which covers various applications. Recently, recurrent neural network (RNN) based models have been developed for point processes and have been found effective. RNN based models usually assume a specific functional form for the time course of the intensity function of a point process (e.g., exponentially decreasing or increasing with the time since the most recent event). However, such an assumption can restrict the expressive power of the model. We herein propose a novel RNN based model in which the time course of the intensity function is represented in a general manner. In our approach, we first model the integral of the intensity function using a feedforward neural network and then obtain the intensity function as its derivative. This approach enables us to both obtain a flexible model of the intensity function and exactly evaluate the log-likelihood function, which contains the integral of the intensity function, without any numerical approximations. Our model achieves competitive or superior performances compared to the previous state-of-the-art methods for both synthetic and real datasets.

研究动机与目标

• 推动在无固定函数形式的情况下，灵活建模条件强度随时间的变化过程。
• 提出一种基于神经网络的累积危险函数，以实现对数似然的精确评估。
• 将RNN历史编码器与累积危险网络集成，以实现灵活的危险形状。
• 在合成和真实时间事件数据集上，与标准模型进行性能对比评估。

提出的方法

• 用前馈神经网络建模累积危险函数 Φ(τ|h_i)，以强制单调性和正性。
• 通过对 τ 求导来得到危险函数 φ(τ|h_i)。
• 用 Φ 表示对数似然，以避免数值积分近似（log L = sum log ∂τΦ - Φ）。
• 使用 RNN 将事件历史编码为隐藏状态 h_i，并将经过时间 τ 与 h_i 送入累积危险网络。
• 约束网络权重为正以确保 Φ 单调递增，并使用自动微分计算 ∂Z_i(τ)/∂τ。
• 通过时序反向传播进行训练，设定截断深度 d 以处理长历史。
• 提供一个基于中位数的高效下一个事件时序预测器，利用在中位数时 Φ(τ) = log 2 的关系。

实验结果

研究问题

• RQ1 在不假设特定函数形式的情况下，基于完全神经网络的累积危险函数表示是否能灵活建模危险随时间的变化？
• RQ2 通过用神经网络对累积危险建模，是否可以对通用危险模型的对数似然进行精确评估？
• RQ3 在合成和真实时间点过程数据上，基于神经网络的危险模型与常数、指数和分段危险模型相比的表现如何？
• RQ4 所提出的模型在多样化的数据生成过程和真实世界数据集上是否保持预测精度？

主要发现

• 基于神经网络的模型在预测性能上与基线的基于RNN的危险模型相比具有竞争力甚至更优。
• 该方法通过对累积危险函数建模实现对数似然的精确评估，而不需要数值积分。
• 该模型在多种合成过程（泊松、重现、自激 Hawkes 变体等）中具有鲁棒性。
• 在真实数据集（金融、紧急呼叫、表情包、音乐）上，神经网络模型显示出竞争性或更优的分数，尤其是在事件间隔长且波动性高的数据上。
• 与连续时间 LSTM 相比，所提出的模型由于对数似然的精确评估，显示出更好的平均性能和更易实现性。