[论文解读] Modeling the intensity function of point process via recurrent neural networkss

Shuai Xiao, Junchi Yan+3 more|arXiv (Cornell University)|Feb 4, 2017

Machine Learning in Materials Science参考文献 39被引用 50

一句话总结

该论文提出了一种混合RNN架构，通过分别使用时间索引RNN编码背景强度，以及使用事件索引RNN编码历史依赖效应，来建模点过程的强度函数，从而实现精确的时间戳和事件类型预测的端到端训练。该方法在真实世界的ATM维护日志数据集上优于传统的参数化点过程模型。

ABSTRACT

Event sequence, asynchronously generated with random timestamp, is ubiquitous among applications. The precise and arbitrary timestamp can carry important clues about the underlying dynamics, and has lent the event data fundamentally different from the time-series whereby series is indexed with fixed and equal time interval. One expressive mathematical tool for modeling event is point process. The intensity functions of many point processes involve two components: the background and the effect by the history. Due to its inherent spontaneousness, the background can be treated as a time series while the other need to handle the history events. In this paper, we model the background by a Recurrent Neural Network (RNN) with its units aligned with time series indexes while the history effect is modeled by another RNN whose units are aligned with asynchronous events to capture the long-range dynamics. The whole model with event type and timestamp prediction output layers can be trained end-to-end. Our approach takes an RNN perspective to point process, and models its background and history effect. For utility, our method allows a black-box treatment for modeling the intensity which is often a pre-defined parametric form in point processes. Meanwhile end-to-end training opens the venue for reusing existing rich techniques in deep network for point process modeling. We apply our model to the predictive maintenance problem using a log dataset by more than 1000 ATMs from a global bank headquartered in North America.

研究动机与目标

• 解决在点过程中对具有任意时间戳的复杂异步事件序列进行建模的挑战。
• 在点过程建模中将背景强度（自发事件）与历史依赖效应（响应事件）解耦。
• 实现强度函数的端到端训练，而无需依赖预设的参数化形式。
• 利用深度学习技术对事件数据中的长程时间依赖关系进行建模。
• 在包含大规模ATM日志数据集的真实世界预测性维护任务上评估该方法。

提出的方法

• 使用时间索引RNN对背景强度进行建模，将其视为标准的时间序列问题。
• 使用事件索引RNN对历史效应进行建模，其中单元与实际事件时间戳对齐，以捕捉异步动态特性。
• 将两个RNN结合，形成统一的强度函数，整合自发与响应成分。
• 通过专用输出层实现事件类型与时间戳的端到端联合预测。
• 该架构支持强度的黑箱建模，避免了对预定义参数形式的依赖。
• 端到端训练使模型能够应用成熟的深度学习优化与正则化技术。

实验结果

研究问题

• RQ1 双RNN架构能否有效建模点过程强度中的背景成分与历史依赖成分？
• RQ2 与传统参数化模型相比，神经强度函数的端到端训练是否能提升预测性能？
• RQ3 该模型能否在不依赖手工设计强度函数的前提下，捕捉异步事件序列中的长程时间依赖？
• RQ4 该模型在具有复杂事件模式的真实世界预测性维护任务中泛化能力如何？
• RQ5 将时间索引RNN与事件索引RNN分离在多大程度上提升了建模保真度？

主要发现

• 与传统参数化点过程模型相比，所提模型在事件类型与时间戳预测方面表现出更优的预测性能。
• 双RNN架构能有效捕捉事件序列中自发的背景活动与响应的历史效应。
• 端到端训练使模型能够在无需显式参数假设的情况下学习复杂的强度模式。
• 该模型在来自1000多台ATM的真实日志数据集上展现出强大的泛化能力，表明其在预测性维护中的实际应用价值。
• 时间索引与事件索引RNN的分离设计，使异步事件动态的建模更具表现力。
• 该方法实现了强度函数的黑箱建模，为通过深度学习实现更丰富的表征打开了新可能。