[论文解读] Intensity-Free Learning of Temporal Point Processes

Oleksandr Shchur, Marin Biloš+1 more|arXiv (Cornell University)|Sep 26, 2019

Markov Chains and Monte Carlo Methods参考文献 46被引用 22

一句话总结

该论文提出了一种无需强度的时序点过程学习方法，通过使用归一化流和简单混合模型直接建模事件间隔时间的条件分布，在预测、序列嵌入和缺失数据插补任务中实现了最先进性能，同时支持闭式采样和矩计算。

ABSTRACT

Temporal point processes are the dominant paradigm for modeling sequences of events happening at irregular intervals. The standard way of learning in such models is by estimating the conditional intensity function. However, parameterizing the intensity function usually incurs several trade-offs. We show how to overcome the limitations of intensity-based approaches by directly modeling the conditional distribution of inter-event times. We draw on the literature on normalizing flows to design models that are flexible and efficient. We additionally propose a simple mixture model that matches the flexibility of flow-based models, but also permits sampling and computing moments in closed form. The proposed models achieve state-of-the-art performance in standard prediction tasks and are suitable for novel applications, such as learning sequence embeddings and imputing missing data.

研究动机与目标

• 解决基于强度的时序点过程模型存在的局限性，例如灵活性、似然计算与采样效率之间的权衡。
• 克服现有方法缺乏闭式似然或无法高效计算期望与矩的挑战。
• 构建一种直接建模事件间隔时间条件分布的框架，实现灵活、高效且理论可靠的训练。
• 通过所提出的分布建模方法，支持序列嵌入和缺失数据插补等新型应用。

提出的方法

• 直接建模事件间隔时间的条件分布 $p^*(\tau)$，而非估计条件强度函数 $\lambda^*(t)$。
• 使用归一化流构建灵活且可逆的变换，实现精确的似然计算和高效的采样。
• 提出一种简单的混合模型，兼具流模型的灵活性，同时支持闭式采样和矩计算。
• 将学习到的分布集成到基于RNN的历史编码器中，以建模时间依赖性。
• 在训练过程中，使用重参数化梯度处理缺失事件间隔时间的随机插补。
• 使用观测到的事件间隔时间的对数似然，通过最大似然估计进行端到端训练。

实验结果

研究问题

• RQ1 直接对事件间隔时间进行密度估计是否能优于基于强度的建模方法？
• RQ2 归一化流与混合模型能否在时序点过程中同时实现灵活性与闭式推断？
• RQ3 所提出的方法能否在时序事件序列中实现有效的序列嵌入与缺失数据插补？
• RQ4 与FullyNN和RMTPP等最先进强度模型相比，该方法的性能如何？
• RQ5 直接建模事件间隔时间分布是否能带来更高的似然与预测准确性？

主要发现

• 所提出的无强度模型在标准时序点过程预测基准上实现了最先进性能，优于RMTPP和FullyNN等模型，在NLL和预测准确性上均表现更优。
• 基于混合模型的方案在性能上与基于流的模型相当，同时支持闭式采样与矩计算，而这是标准流模型无法实现的。
• 在Yelp数据集上，该方法测试NLL为10.35 ± 0.106，时间预测准确率为7.78 ± 0.107，两项指标均优于基线模型。
• 该方法成功学习到有意义的序列嵌入，通过从学习到的嵌入中进行条件生成，可复现具有区分性的时序模式。
• 通过使用学习到的分布对可能的事件间隔时间进行采样，该模型能够有效实现缺失数据插补，提升在缺失数据下的似然估计性能。
• 该方法支持使用重参数化梯度的端到端训练，实现可微插补与稳定优化，即使在序列不完整的情况下亦可实现。