[论文解读] Modeling The Intensity Function Of Point Process Via Recurrent Neural Networks

Shuai Xiao, Junchi Yan+3 more|arXiv (Cornell University)|May 24, 2017

Machine Learning in Materials Science被引用 33

一句话总结

本论文提出了一种新颖的端到端深度学习框架，通过使用两种不同的循环神经网络（RNN）来建模点过程的强度函数：一种与固定时间间隔对齐，以捕捉背景动态；另一种与异步事件对齐，以建模历史效应。该方法在真实世界ATM日志数据上的事件类型和时间戳预测任务中取得了最先进性能，优于参数化模型（如霍克斯过程和RMTPP），尤其在复杂、非线性场景下表现更优。

ABSTRACT

Event sequence, asynchronously generated with random timestamp, is ubiquitous among applications. The precise and arbitrary timestamp can carry important clues about the underlying dynamics, and has lent the event data fundamentally different from the time-series whereby series is indexed with fixed and equal time interval. One expressive mathematical tool for modeling event is point process. The intensity functions of many point processes involve two components: the background and the effect by the history. Due to its inherent spontaneousness, the background can be treated as a time series while the other need to handle the history events. In this paper, we model the background by a Recurrent Neural Network (RNN) with its units aligned with time series indexes while the history effect is modeled by another RNN whose units are aligned with asynchronous events to capture the long-range dynamics. The whole model with event type and timestamp prediction output layers can be trained end-to-end. Our approach takes an RNN perspective to point process, and models its background and history effect. For utility, our method allows a black-box treatment for modeling the intensity which is often a pre-defined parametric form in point processes. Meanwhile end-to-end training opens the venue for reusing existing rich techniques in deep network for point process modeling. We apply our model to the predictive maintenance problem using a log dataset by more than 1000 ATMs from a global bank headquartered in North America.

研究动机与目标

• 解决依赖于严格预设强度函数的参数化点过程模型的局限性，这些函数可能无法捕捉复杂的真实世界动态。
• 开发一种灵活的非参数化框架，直接从数据中学习点过程的强度函数，而无需对潜在结构做先验假设。
• 通过RNN将时间序列特征（背景）和事件历史依赖性（自激励）整合到一个统一的、可端到端训练的模型中。
• 实现强度函数的黑箱建模，使深度学习技术能够应用于复杂、高维的事件数据。
• 通过大规模ATM日志数据上的实际预测维护任务，证明该方法的有效性。

提出的方法

• 该模型采用两个并行RNN：一个处理与固定时间间隔对齐的时间序列特征，以建模自发的背景强度。
• 另一个RNN处理与异步事件时间戳对齐的事件序列，以建模依赖历史的激发效应。
• 两个RNN的输出被融合，形成一个复合强度函数，以同时捕捉背景趋势和事件触发的动态。
• 模型通过反向传播进行端到端训练，配备联合预测头以同时预测事件类型和时间戳。
• 该架构支持对强度函数的灵活、非参数化建模，避免了对人工设计的参数形式的依赖。
• 该方法支持分层和扁平的事件类型预测结构，使多级分类任务中表现更加稳健。

实验结果

研究问题

• RQ1 深度学习模型是否能有效捕捉点过程建模中的背景动态和依赖历史的效应，而无需依赖参数化强度函数？
• RQ2 双RNN架构在预测事件类型和时间戳方面，与传统参数化模型（如霍克斯过程和RMTPP）相比表现如何？
• RQ3 与具有固定或人工设计强度形式的模型相比，端到端训练在复杂真实世界事件数据上的性能提升程度如何？
• RQ4 通过分别与时间点和事件对齐的RNN建模背景和历史效应，是否能带来更好的表征学习和预测准确性？
• RQ5 所提出的框架是否能在多种事件类型上实现泛化，并在无需领域特定假设的情况下保持高性能？

主要发现

• 融合时间序列和事件序列RNN的强度RNN模型在事件类型预测中表现最佳，测试集F1得分为0.825，平均绝对误差（MAE）为4.13天。
• 在时间戳预测方面，该模型显著优于霍克斯过程（MAE：5.26天）和逻辑回归基线（MAE：4.52天），表明其在建模时间动态方面具有优越性。
• 事件序列RNN在大多数指标上优于时间序列RNN，表明在所研究数据集中，历史效应对准确预测至关重要。
• 在子类型预测中，强度RNN的F1得分为0.684，显著优于RMTPP（0.584）和霍克斯（0.467），凸显其在复杂分类任务中的优势。
• 对于主类型分类，扁平事件类型预测架构优于分层结构；而分层结构通过多级监督提升了子类型预测性能。
• 该模型在所有评估指标上均达到最先进水平，证实了端到端、隐式学习强度函数在真实世界点过程建模中的高度有效性。